Генератор Robots.txt

Стандартний сайт Відкрити публічні сторінки й закрити тільки типові приватні розділи. WordPress Закрити адмінку WordPress і дублікати пошуку, не блокуючи публічні ресурси. Інтернет-магазин Залишити товари й категорії відкритими, закрити кошик, оплату, кабінет і дублікати фільтрів. Мультимовний сайт Не закривати мовні папки й прибрати дублікати від параметрів перемикання мови. Блог / медіа Закрити внутрішній пошук, авторські архіви й дублікати відповідей у коментарях. Корпоративний сайт Закрити службові сторінки, які не мають бути в пошуку, і залишити відкритими продаючі сторінки. SaaS / вебзастосунок Закрити застосунок, кабінет, API й білінг, залишивши відкритими маркетингові сторінки. Закрити від індексації Заблокувати обхід для staging, тестових проєктів або сайтів, які ще не мають бути публічними.