Tiefe: Tiefe begrenzt, wie viele Link-Ebenen ab der eingegebenen Seite gecrawlt werden. Ohne Limit wird bis zum Seitenlimit gecrawlt.
Changefreq: Changefreq fügt sitemap.xml die erwartete Aktualisierungsfrequenz hinzu.
URLs per Maske ausschließen: Ausschlussmasken entfernen URLs nach Fragmenten oder Wildcards, eine Maske pro Zeile.
Nur URLs per Maske einschließen: Einschlussmasken behalten nur URLs nach Fragmenten oder Wildcards.
Priority: priority fügt sitemap.xml ungefähre Wichtigkeitswerte hinzu.
Lastmod: lastmod fügt für jede gefundene URL das Generierungsdatum hinzu.
Robots.txt: robots.txt überspringt URLs, die für Crawler gesperrt sind.
Noindex: noindex entfernt Seiten, die nicht indexiert werden sollen.
Nofollow: nofollow überspringt Links oder Seiten, die nicht verfolgt werden sollen.
Canonical: Der Canonical-Filter behält die bevorzugte URL und entfernt Duplikate.
GET-Parameter entfernen: GET-Bereinigung entfernt Parameter wie utm_source oder Sortierfilter.
Nur URLs mit 200 OK: Der 200-OK-Filter behält nur Seiten mit erfolgreicher HTTP-Antwort.
