Dret robots.txt

Arxiu robots.txt és el fitxer principal que descriu el tractament pàgines de les regles dels motors de cerca. Aquest fitxer és necessari especificar el lloc principal nom, mapa web (sitemap.xml), pública i privada de les seccions de la web.
Arxiu robots.txt inclou les següents directrius:

  • User-agent de la Directiva especifica a quin robot les següents regles
    • * - tots els robots
    • Yandex — principals robot Yandex
    • Googlebot — Googlebot és el principal
    • StackRambler — el motor de cerca Rambler
    • Aport — Aport de motor de cerca
    • Slurp és Yahoo robot
    • MSNBot és el MSN robot
  • Disallow Directiva és la prohibició part del lloc web
  • Permeteu — Directiva permet part del lloc web
  • Host — Directiva especificar el nom del lloc de primària
  • Mapa del lloc— de la Directiva de l'orientació en un mapa del lloc (sitemap.xml)
  • Crawl-delay Directiva especifica quants segons el robot pot esperar una resposta de l'espai (necessari per fortament carregat de recursos, de manera que el robot no va tenir en compte el lloc no està disponible)
  • Netejar-param Directiva descriure la dinàmica paràmetres que no afecten al contingut de la pàgina

Помимо директив в robots.txt используются спец символы:

  • * - lubi (incloent buit) seqüència de caràcters
  • $ — , una limitació de les normes

Per compilar robots.txt utilitzar les directrius anteriors i cantada pels personatges de la següent manera:

  • Especifica el nom del robot sobre la qual s'escriu una llista de les normes
    (User-agent: * - a la regla per a tots els robots)
  • Lletreja una llista de prohibits seccions de la web per a l'especificat robot
    ( Disallow: / - evitar la indexació de tot el lloc)
  • Lletreja una llista de permesos seccions del lloc
    (Allow: /inici/ — partició casa permesa)
  • Especifica el nom de la pàgina web
    (Host: crazysquirrel.ru — el nom principal de la web crazysquirrel.ru)
  • Especifica el camí absolut del fitxer sitemap.xml
    (Mapa del web: https:// crazysquirrel.ru/sitemap.xml)

Si el lloc no té cap il·lícit temes, robots.txt ha de ser com a mínim de 4 línies:

User-Agent: *
Permetre: /
Host: crazysquirrel.ru
Mapa del web: https://crazysquirrel.ru/sitemap.xml

Fes robots.txt i com afecta a la indexació de la pàgina web mitjançant l'ús d'eines Yandex

Veure i deixar comentaris