robots.txt reicht nicht für KI-Bots: GPTBot, ClaudeBot und PerplexityBot richtig steuern
robots.txt ist das richtige Werkzeug für Crawl-Steuerung, aber kein vollständiger Schutzschild. Eine robots.txt-Datei ist eine Textdatei auf dem Webserver, die Crawlern sagt, welche URLs sie abrufen dürfen. Für öffentliche Inhalte kann das genügen. Für Inhalte, die nicht in Suchergebnissen auftauchen sollen oder wirklich geschützt sein müssen, brauchen Sie oft zusätzlich noindex, Login oder eine Web Application Firewall, kurz WAF.
Was kann robots.txt bei KI-Bots wirklich leisten?
Google beschreibt robots.txt ausdrücklich als Mittel, um Crawling zu steuern, nicht als Mechanismus, um eine Seite sicher aus Google herauszuhalten. Wer eine Seite nicht in den Suchergebnissen sehen will, braucht andere Mittel wie noindex oder Passwortschutz. Eine per robots.txt blockierte URL kann trotzdem noch auftauchen, wenn sie von anderen Seiten verlinkt wird. Genau deshalb ist robots.txt für Bot-Steuerung nützlich, aber als Schutz allein unvollständig. Google Search Central zu robots.txt
Für die Praxis heißt das: Entscheiden Sie zuerst, was Sie erreichen wollen. Wollen Sie nur das Abrufen bestimmter Pfade begrenzen, ist robots.txt oft passend. Wollen Sie Inhalte dagegen wirklich aus Suchergebnissen heraushalten oder vor unbefugtem Zugriff schützen, reicht die Datei nicht aus.
| Ziel | Passendes Mittel | Was es leistet |
|---|---|---|
| Crawl-Last senken | robots.txt | Bestimmte Bots sollen definierte Pfade nicht abrufen |
| Aus Suchergebnissen heraus | noindex oder Passwortschutz | Die Seite soll nicht als Suchtreffer erscheinen |
| Private Inhalte schützen | Login oder Authentifizierung | Unbefugte gelangen nicht an den Inhalt |
| Bot-Zugriffe feiner steuern | WAF | Regeln nach Bot, IP oder Request-Muster sind möglich |
Welche Bots sollten Sie auseinanderhalten?
Nicht jeder KI-Bot erfüllt denselben Zweck. Genau hier liegt der häufigste Denkfehler. Wenn Sie alle Bots gleich behandeln, verlieren Sie entweder Reichweite oder Sie schützen Inhalte zu schwach. Die offiziellen Dokumentationen zeigen, dass Suchbot, Trainingsbot und nutzerinitiierter Abruf nicht dasselbe sind.
GPTBot und OAI-SearchBot bei OpenAI
OpenAI trennt Such- und Trainingszwecke über zwei unterschiedliche Bots. OAI-SearchBot ist für Suchfunktionen gedacht, GPTBot für Inhalte, die in Trainingsdaten einfließen können. Die Einstellungen sind unabhängig voneinander. Sie können also zum Beispiel OAI-SearchBot zulassen, wenn Sie in Suchergebnissen erscheinen möchten, und GPTBot sperren, wenn Sie kein Training mit Ihren Inhalten wünschen. OpenAI weist außerdem darauf hin, dass Änderungen an robots.txt bis zu etwa 24 Stunden brauchen können, bis sie wirksam sind. OpenAI-Dokumentation zu Crawlers
Wichtig ist auch: OpenAI beschreibt mit ChatGPT-User einen nutzerinitiierten Abruf. Solche Anfragen sind nicht dasselbe wie automatisches Crawling, und robots.txt steuert sie nur eingeschränkt.
ClaudeBot, Claude-User und Claude-SearchBot bei Anthropic
Anthropic nennt drei unterschiedliche Bots. ClaudeBot dient laut Dokumentation dem Modelltraining. Claude-User wird verwendet, wenn Nutzer Claude eine Frage stellen und das System dafür eine Website abrufen muss. Claude-SearchBot dient der Suche und verbessert die Qualität von Suchergebnissen. Daraus folgt: Wer Inhalte nur für Training sperren will, braucht eine andere Regel als jemand, der nutzerinitiierte Abrufe einschränken möchte. Anthropic nennt für die Steuerung robots.txt und auch Crawl-delay als mögliche Optionen. Anthropic-Hinweise zu den Bots
PerplexityBot und Perplexity-User bei Perplexity
PerplexityBot ist laut Dokumentation für Suchergebnisse gedacht und nicht für das Training von Foundation Models. Perplexity-User unterstützt Nutzeraktionen, wenn jemand Perplexity eine Frage stellt und dafür eine Seite abgerufen wird. Für diesen nutzerinitiierten Abruf schreibt Perplexity ausdrücklich, dass robots.txt-Regeln in der Regel ignoriert werden. Außerdem nennt Perplexity WAF-Hinweise und veröffentlichte IP-Endpunkte als Ergänzung zur Bot-Steuerung. Perplexity-Crawler-Dokumentation
Wann reicht robots.txt aus?
robots.txt reicht dann aus, wenn Sie nur das Crawling ordnen wollen und die betroffenen Inhalte weiterhin öffentlich erreichbar sein dürfen. Das passt vor allem für Seiten, die gefunden werden sollen, bei denen Sie aber die Abruffrequenz oder einzelne Pfade begrenzen möchten. Auch bei ähnlichen oder unwichtigen Seiten kann robots.txt helfen, Crawl-Ressourcen zu sparen.
Für öffentliche Inhalte ist das oft die richtige erste Maßnahme. Sie bleibt leicht verständlich, ist schnell umgesetzt und eignet sich gut als Teil einer klaren Bot-Policy. Entscheidend ist nur, dass Sie sie nicht mit einem vollständigen Schutz verwechseln.
Wann brauchen Sie noindex, Login oder WAF?
Sobald es um Suchergebnisse, vertrauliche Inhalte oder nutzerinitiierte Abrufe geht, braucht es meist mehr als robots.txt. Die Wahl hängt von Ihrem Ziel ab.
| Situation | Empfehlung | Warum |
|---|---|---|
| Die Seite darf erreichbar sein, aber nicht in Google erscheinen | noindex oder Passwortschutz | Google nennt diese Mittel ausdrücklich für den Ausschluss aus den Ergebnissen |
| Inhalte sind intern, vertraulich oder kundenspezifisch | Login oder Authentifizierung | Zugriffsschutz ist wichtiger als Crawl-Steuerung |
| Sie wollen Bots unterschiedlich behandeln | WAF | Regeln nach User-Agent und IP sind möglich |
| Perplexity-User oder ähnliche Fetcher werden aus Nutzeranfragen ausgelöst | Login oder WAF | robots.txt allein ist dafür zu schwach |
Eine WAF, also eine Web Application Firewall, ist besonders dann interessant, wenn Sie auf Request-Ebene filtern wollen. Das kann etwa bedeuten, dass Sie User-Agent und IP-Adresse gemeinsam prüfen. Genau deshalb ist eine WAF für manche Setups die passendere Lösung als eine reine robots.txt-Datei.
Welche Praxisregel ist im Alltag am hilfreichsten?
Die sauberste Reihenfolge ist einfach: erst Inhalt bewerten, dann Bot-Typ unterscheiden, dann das technische Mittel wählen.
- Ordnen Sie Inhalte in öffentlich, suchrelevant, vertraulich oder intern ein.
- Trennen Sie Suchbots, Trainingsbots und nutzerinitiierte Abrufe.
- Entscheiden Sie dann, ob robots.txt, noindex, Login oder WAF die richtige Antwort ist.
- Dokumentieren Sie die Entscheidung zentral, damit Redaktion und Technik dieselbe Policy verwenden.
So vermeiden Sie, dass robots.txt als Allzwecklösung missverstanden wird. Sie steuern dann nicht nur Crawler, sondern auch die Erwartung, was ein Bot darf und was nicht.
Häufige Fragen
Reicht robots.txt, um KI-Bots zu stoppen?
Nein. robots.txt steuert vor allem Crawling. Für private Inhalte oder Inhalte, die nicht in Suchergebnissen auftauchen sollen, brauchen Sie zusätzlich noindex, Login oder andere Schutzmechanismen.
Muss ich GPTBot und OAI-SearchBot gleich behandeln?
Nein. OpenAI trennt Suchfunktion und Training über unterschiedliche Bots. Deshalb können Sie beide Ziele getrennt steuern.
Was ist der Unterschied zwischen ClaudeBot und Claude-User?
ClaudeBot ist für Training gedacht. Claude-User unterstützt nutzerinitiierte Abrufe, wenn jemand Claude eine Frage stellt. Die passende Regel ist deshalb nicht automatisch dieselbe.
Warum reicht robots.txt bei Perplexity-User oft nicht?
Weil Perplexity laut Doku für nutzerinitiierte Abrufe robots.txt-Regeln in der Regel ignoriert. Wenn der Inhalt wirklich geschützt sein soll, brauchen Sie Login oder eine WAF.
Wann ist noindex besser als robots.txt?
Wenn die Seite erreichbar bleiben darf, aber nicht in Suchergebnissen erscheinen soll, ist noindex meist die bessere Wahl. robots.txt blockiert eher das Crawling, nicht den Indexierungswunsch selbst.
Soll ich für jede Bot-Frage sofort eine Sperre setzen?
Nein. Prüfen Sie zuerst, was der Inhalt leisten soll. Oft reicht eine gezielte Kombination aus robots.txt, noindex und Login, statt alles pauschal zu blockieren.
Datengrundlage: OpenAI-Crawler-Doku, Anthropic-Hilfe zu ClaudeBot/Claude-User/Claude-SearchBot, Perplexity-Bot-Doku, Google Search Central robots.txt-Einführung.
