Создание Robots.txt онлайн

Создать robots.txt самостоятельноЕсли у вас возникли трудности с самостоятельным составлением файла Robots.txt для своего сайта, вы можете оставить запрос через форму обратной связи и наши специалисты подготовят данный файл для вашего сайта в соответствии с требованиями поисковых систем и структурой CMS (для клиентов компании услуга предоставляется бесплатно).

Важно: онлайн-сервис для автоматической генерации robots.txt, представленный ниже, подходит лишь для базовой генерации файла. Для тонкой настройки нужен анализ структуры сайта и директорий, которые необходимо скрыть от поисковых систем во избежании дублей в индексе и исключения попадания в поисковую базу лишней информации.

Для генерации Robots.txt поля заполняйте последовательно

Адрес вашего сайта (без WWW): http://

User-agent (предписание для конкретной поисковой системы)

Disallow (что ИНДЕКСИРОВАТЬ или НЕ ИНДЕКСИРОВАТЬ поисковикам):

Host (название домена с www или без, например «ваш-сайт.com» или «www.ваш-сайт.com»)

Sitemap (укажите расположение карты сайта, если таковая имеется)

Результат — готовый файл Robots.txt:


Откройте текстовый редактор, вставьте в него полученный результат и сохраните файл под именем robots.txt
После этого разместите файл в корневой директории вашего сайта. Файл должен быть доступен по ссылке http://ваш-сайт.com/robots.txt

 

Пояснения к атрибутам для файла Robots.txt


Директива «User-agent» — указывает для бота какой поисковой системы действуют расположенные ниже предписания. Файл Robots.txt можно создавать как с едиными для всех поисковых роботов указаниями, так и с отдельными предписаниями для каждого бота.


Директива «Disallow» — данная директива указывает какие каталоги и фалы запрещено индексировать поисковикам. Если вы создаете отдельные предписания для каждого поискового бота, то для каждого такого предписания создаются отдельные правила «Disallow». Этой директивой можно запретить индексировать сайт полностью (Disallow: /) или запрещать индексирование отдельных каталогов. В случае запрета индексации отдельных директорий количество предписаний «Disallow» может быть неограниченным.


Директива «Host» определяет главное зеркало сайта. Сайт может быть доступен по 2-м адресам: «с WWW» и «без WWW». Если файл Robots.txt отсутствует на сервере или в нем не заполнена запись «Host», роботы поисковых систем определяют главное зеркало для сайта по своему усмотрению, но если вы хотите сделать это самостоятельно вам следует указать это правило в директиве «Host».


Директива «Sitemap» указывает по какому пути находится файл Sitemap.xml (карта сайта). Этот файл существенно облегчает и ускоряет индексацию сайта роботами поисковых систем. Особенно важен файл Sitemap.xml для сайтов с большим количеством страниц и сложной структурой (высокий уровень вложенности).