Haftungsausschluss: Alle generierten Konfigurationen sind Beispiele ohne Gewähr. Sie dienen als Ausgangspunkt – für Vollständigkeit, Sicherheit und korrekte Serverkonfiguration übernehmen wir keine Verantwortung. Teste alle Einstellungen sorgfältig in einer Testumgebung, bevor du sie produktiv einsetzt. Das gilt für alle Tools auf dieser Seite.
Robots.txt Generator
Crawler-Zugriffe steuern, Bots blockieren, Sitemap eintragen
Robots.txt – Suchmaschinen gezielt steuern
Die robots.txt liegt im Root-Verzeichnis und teilt Crawlern mit, welche Bereiche indexiert werden dürfen. Damit lässt sich das Crawl-Budget optimieren, doppelte Inhalte reduzieren und admin-Bereiche aus dem Index fernhalten. Unser Generator blockiert zudem aggressiver Bots wie AhrefsBot, SemrushBot und GPTBot automatisch.