Robots.txt-Generator

Standard-Website Öffentliche Seiten öffnen und nur typische private Bereiche sperren. WordPress WordPress-Admin und Suchduplikate sperren, öffentliche Ressourcen offen lassen. Onlineshop Produkte und Kategorien offen halten, Warenkorb, Checkout, Konto und Filterduplikate sperren. Mehrsprachige Website Sprachordner nicht sperren und Duplikate durch Sprachparameter entfernen. Blog / Medium Interne Suche, Autorenarchive und Kommentarantwort-Duplikate sperren. Corporate-Website Servicebereiche sperren, die nicht in der Suche erscheinen sollen. SaaS / Web-App App, Dashboard, API und Billing sperren, Marketingseiten offen halten. Für Indexierung schließen Crawling für Staging, Tests oder noch nicht öffentliche Websites blockieren.