Генератор Robots.txt

Стандартный сайт Открыть публичные страницы и закрыть только типовые приватные разделы. WordPress Закрыть админку WordPress и дубли поиска, не блокируя публичные ресурсы. Интернет-магазин Оставить товары и категории открытыми, закрыть корзину, оформление заказа, кабинет и дубли фильтров. Мультиязычный сайт Не закрывать языковые папки и убрать дубли от параметров переключения языка. Блог / медиа Закрыть внутренний поиск, авторские архивы и дубли ответов в комментариях. Корпоративный сайт Закрыть служебные страницы, которые не должны быть в поиске, и оставить открытыми продающие страницы. SaaS / веб-приложение Закрыть приложение, кабинет, API и биллинг, оставив открытыми маркетинговые страницы. Закрыть от индексации Заблокировать обход для staging, тестовых проектов или сайтов, которые пока не должны быть публичными.