Was KI-Crawler dürfen

So funktioniert es

Ein Crawler ist ein Programm, das Seiten automatisch abruft. Jeder KI-Dienst schickt seine Crawler unter einem eigenen Namen, dem User-Agent. Grob gibt es zwei Arten:

• Such-Agenten holen Seiten, um eine Frage zu beantworten und die Seite als Quelle zu nennen: OAI-SearchBot und ChatGPT-User (OpenAI), Claude-SearchBot und Claude-User (Anthropic), PerplexityBot und Perplexity-User (Perplexity). Auch Googlebot und Bingbot zählen dazu: Auf ihrem Index bauen Googles AI Overviews und Microsoft Copilot auf.
• Trainings-Crawler sammeln Seiten, mit denen Modelle trainiert werden: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Meta-ExternalAgent und Bytespider.

Was ein Crawler darf, steht in der Datei /robots.txt deiner Website. Jede Gruppe beginnt mit User-agent: und enthält Allow- und Disallow-Regeln. Gilt eine Gruppe ausdrücklich für einen Crawler, liest er nur diese; die Gruppe User-agent: * gilt nur für Crawler ohne eigene Gruppe. Bei mehreren passenden Regeln gewinnt die längste, bei Gleichstand Allow.

Worauf es ankommt

• Such-Agenten zulassen. Wer sie sperrt, taucht in den Antworten von ChatGPT, Claude oder Perplexity nicht als Quelle auf. bytereport prüft, ob die robots.txt diese acht Agenten an die Startseite lässt: Sperrt sie einige, warnt es, sperrt sie alle, ist das ein Fehler.
• Training ist deine Entscheidung. Trainings-Crawler kannst du sperren, ohne die Suche zu verlieren. Das fließt nicht in die Bewertung ein. Modelle, die deine Seiten aus dem Training kennen, nennen dich aber eher auch ohne Websuche.
• Google-Extended ist kein Crawler. Der Name regelt nur, ob Google deine Inhalte für Gemini-Modelle nutzen darf. Auf die Google-Suche und die AI Overviews hat er keinen Einfluss.
• Pauschale Sperren prüfen. Ein Disallow: / unter User-agent: * sperrt alle Crawler ohne eigene Gruppe, also auch die Such-Agenten.
• Indexierbar bleiben. Eine erlaubte, aber mit noindex markierte Seite fehlt trotzdem in der Suche, mehr dazu unter Indexierbarkeit.

So richtest du es ein

Die robots.txt liegt im Hauptverzeichnis der Website. Viele CMS und SEO-Plugins erzeugen sie und bieten dafür ein Eingabefeld; sonst ändert sie deine Agentur oder dein Hosting-Anbieter. Diese Gruppen erlauben die Such-Agenten ausdrücklich:

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Willst du das Training ausschließen, ergänze eigene Gruppen:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Prüfe danach, ob eine Firewall die Crawler nicht trotzdem abweist, siehe Bot-Schutz.