Robots.txt

Материал из Викиреальностя
Перейти к: навигация, поиск

()

Рассказ о том как сделать robots.txt

Robots.txt — специальный технический файл, содержащий правила для поисковых роботов, с помощью которого можно запрещать индексацию определенных страниц или всего сайта в целом.

Содержание

[править] Правила

  • Файл может размещаться только на сервере.
  • Он должен лежать в корне сайта.
  • Малейшее нарушение синтаксиса ведет к некорректности файла, которое может негативно сказаться на индексации.
  • В robots.txt есть как несколько стандартных директив, так и несколько «расширенных», поддерживаемых только поисковиками.

[править] Пример

Подобный вариант позволяет полностью запретить индексацию сайта любым поисковикам:

 User-agent: *
 Disallow: /

А этот вариант запретит индексацию папки admin сайта.

 User-agent: *
 Disallow: /admin/

Дополненный вариант поможет указать поисковикам, какое зеркало сайта является основным.

 User-agent: *
 Disallow: /admin/
 Host: www.sait.ru

[править] Интересные факты

Humans-txt.png

Кроме robots.txt у Google есть и файл humans.txt, которым компания пытается показать, что Google — это не только боты и алгоритмы.[1]

В файле robots.txt у Youtube содержится юмористический комментарий:

# Created in the distant future (the year 2000) after
# the robotic uprising of the mid 90's which wiped out all humans.

(«Создано в далеком будущем (2000 год), после восстания роботов в середине 90-х, которое уничтожило всё человечество»).[2]

[править] См. также

[править] Примечания

[править] Ссылки

Robots.txt относится к теме «SEO»   ±