Автоматична генерація robots.txt підходить лише для базового створення файлу. Для тонкого налаштування потрібен аналіз структури сайту і директорій, які необхідно приховати від пошукових систем, щоб уникнути дублів в індексі та виключити попадання в пошукову базу зайвої інформації.
Онлайн-генератор Robots.txt – поля заповнюйте послідовно:
Відкрийте текстовий редактор, вставте в нього отриманий результат і збережіть файл під іменем robots.txt
Після цього розмістіть файл у кореневій директорії вашого сайту. Файл повинен бути доступний за посиланням http://ваш-сайт.com/robots.txt
Пояснення до атрибутів для файлу Robots.txt
Директива «User-agent» — вказує для бота якої пошукової системи діють розташовані нижче вимоги. Файл Robots.txt можна створювати як з єдиними для всіх пошукових роботів вказівками, так і з окремими вимогами для кожного бота.
Директива «Disallow» — ця директива вказує які каталоги і файли заборонено індексувати пошуковикам. Якщо ви створюєте окремі вимоги для кожного пошукового бота, то для кожної такої вимоги створюються окремі правила «Disallow». Цією директивою можна заборонити індексувати сайт повністю (Disallow: /) або забороняти індексацію окремих каталогів. У разі заборони індексації окремих директорій кількість вимог «Disallow» може бути необмеженою.
Директива «Host» визначає головне дзеркало сайту. Сайт може бути доступний за 2-ма адресами: «з WWW» і «без WWW». Якщо файл Robots.txt відсутній на сервері або в ньому не заповнена запис «Host», роботи пошукових систем визначають головне дзеркало для сайту на свій розсуд, але якщо ви хочете зробити це самостійно, вам слід вказати це правило в директиві «Host».
Директива «Sitemap» вказує по якому шляху знаходиться файл Sitemap.xml (карта сайту). Цей файл суттєво спрощує і прискорює індексацію сайту роботами пошукових систем. Особливо важливий файл Sitemap.xml для сайтів з великою кількістю сторінок і складною структурою (високий рівень вкладеності).
Порада SEO-спеціаліста: Файл Robots.txt дуже важливий при просуванні сайту, оскільки він вказує пошуковим системам Ваші побажання щодо індексації/заборони індексації розділів Вашого сайту. Пошуковики не гарантують дотримання вимог у robots.txt, але враховують їх при індексації. Для сайтів, створених на популярних CMS, зазвичай є готові варіанти файлів robots.txt, але якщо Ви вносили доопрацювання функціоналу, може знадобитися його ручна коректура.
