Générateur Robots.txt

Site standard Ouvrir les pages publiques et fermer seulement les zones privées courantes. WordPress Fermer l’admin WordPress et les doublons de recherche sans bloquer les ressources publiques. Boutique en ligne Garder produits et catégories ouverts, fermer panier, paiement, compte et doublons de filtres. Site multilingue Ne pas fermer les dossiers de langues et retirer les doublons liés aux paramètres de langue. Blog / média Fermer la recherche interne, les archives d’auteur et les doublons de réponses aux commentaires. Site corporate Fermer les pages de service qui ne doivent pas apparaître dans la recherche. SaaS / application web Fermer application, dashboard, API et facturation, garder les pages marketing ouvertes. Fermer à l’indexation Bloquer l’exploration pour staging, tests ou sites qui ne doivent pas encore être publics.