Wie Bot-Schutz KI-Crawler aussperrt
Firewalls und CDNs sperren KI-Crawler oft per Regel, auch wenn die robots.txt sie erlaubt. Dann bekommt der Crawler eine Fehlermeldung oder eine Prüfseite statt deines Inhalts, und deine Seite fehlt in KI-Antworten.
So funktioniert es
Viele Websites stehen hinter einer Web Application Firewall (WAF) oder einem CDN (Content Delivery Network), etwa Cloudflare, Akamai oder dem Schutz des Hosting-Anbieters. Diese Dienste prüfen jede Anfrage, bevor sie deinen Server erreicht. Wirkt eine Anfrage automatisiert, wird sie abgewiesen oder bekommt eine Prüfseite (Challenge), die erst ein Mensch im Browser lösen muss.
Ein Crawler kann so eine Prüfseite nicht lösen. Er sieht dann „Just a moment…“ oder ein Captcha statt deines Textes. Die robots.txt hilft dabei nicht: Sie ist eine Bitte an den Crawler, die Firewall entscheidet vorher und unabhängig davon.
Oft steckt ein einzelner Schalter dahinter, etwa „KI-Crawler blockieren“ oder eine Regel gegen bestimmte User-Agents. Er sperrt dann meist alle KI-Crawler, die Such-Agenten eingeschlossen.
Worauf es ankommt
- Dieselbe Antwort wie für Browser. bytereport ruft die Startseite mit dem User-Agent von
OAI-SearchBot,PerplexityBotundClaudeBotab und vergleicht mit dem Abruf als Browser. Ein anderer Status oder keine Antwort gilt als Sperre und als Fehler. - Keine Prüfseite und kein Rumpf. Eine Challenge-Seite oder deutlich weniger Text (weniger als die Hälfte der Wörter, wenn der Browser mindestens 150 Wörter sieht) gilt als Warnung.
- Such-Agenten ausnehmen. Wer das Training nicht will, regelt das besser in der robots.txt oder sperrt gezielt die Trainings-Crawler, nicht pauschal alle Bots.
- Echte Crawler erkennen. Der User-Agent lässt sich fälschen. Viele Dienste veröffentlichen deshalb die IP-Adressbereiche ihrer Crawler, und manche Firewalls führen Listen geprüfter Bots. Solche Dienste können dem echten Crawler anders antworten als dem Test; der Check zeigt, was eine Regel auf den User-Agent bewirkt.
So richtest du es ein
Die Bot-Regeln stehen in der Verwaltung deines CDN, deiner Firewall oder in den Sicherheitseinstellungen deines Hosting-Anbieters; hat deine Agentur das eingerichtet, kann sie es ändern. Prüfe dort:
- Schalter wie „KI-Crawler blockieren“ oder „Block AI bots“: Lass die Such-Agenten durch, wenn das möglich ist.
- Eigene Regeln, die auf User-Agents wie
GPTBot,ClaudeBotoder allgemein auf „bot“ zielen. - Den Bot-Kampfmodus oder eine hohe Sicherheitsstufe, die allen Unbekannten eine Prüfseite zeigt.
Sperre danach nur, was du wirklich nicht willst, und regle den Rest in der robots.txt, siehe KI-Crawler. Starte den Check danach erneut.