Wiki

Robots.txt

Robots.txt — стандарт исключений для поисковых роботов. Файл Robots.txt ограничивает доступ роботам к содержимому на сервере и должен находиться в корне сайта. При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них.

Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать. Если файл будет содержать символы не в UTF-8, а в другой кодировке, поисковые роботы могут неправильно их обработать. Правила, перечисленные в файле robots.txt, действительны только в отношении того хоста, протокола и номера порта, где размещен файл.

У нас на сайте есть инструмент для создания Robots.txt online.