Was robots.txt macht

So funktioniert es

Bevor ein Crawler (ein Programm, das Seiten für eine Suchmaschine abruft) deine Website besucht, liest er https://deine-domain/robots.txt. Die Datei besteht aus Gruppen. Jede beginnt mit User-agent: und nennt, für welchen Crawler sie gilt; * steht für alle. Darunter folgen Regeln:

User-agent: *
Disallow: /intern/
Allow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Disallow verbietet einen Pfad, Allow erlaubt ihn. Ein Crawler folgt nur der Gruppe, die ihn am genauesten bezeichnet. Hat Googlebot eine eigene Gruppe, gelten für ihn die Regeln unter * nicht.

Gibt es keine robots.txt (Status 404), dürfen Crawler alles. Das ist in Ordnung. Eine Datei mit Sitemap-Angabe hilft aber, weil Suchmaschinen deine Sitemap dann sofort finden.

Worauf es ankommt

• Kein Disallow: / für alle. Diese eine Zeile in der Gruppe User-agent: * sperrt die ganze Website. Sie stammt oft aus der Entwicklungsphase. bytereport wertet sie als Fehler.
• Eine lesbare Textdatei. Die Datei muss mit Status 200 als Text antworten. Liefert der Server stattdessen eine HTML-Seite, etwa die Startseite oder eine Fehlerseite, können Crawler sie nicht lesen. Antwortet er mit einem Serverfehler (5xx), behandelt Google das vorübergehend so, als wäre alles gesperrt.
• Sperren ist nicht Ausblenden. Eine gesperrte Seite wird nicht abgerufen, kann aber trotzdem im Index stehen, wenn andere auf sie verlinken. Wer eine Seite aus den Suchergebnissen heraushalten will, braucht noindex, siehe Was die Indexierbarkeit bestimmt.
• Keine Geheimnisse. Die Datei ist öffentlich. Wer einen Pfad dort sperrt, verrät ihn zugleich.
• Sitemap mit voller Adresse. Die Zeile Sitemap: braucht die vollständige URL, mit https://.

Auch KI-Crawler lesen die robots.txt. Wie du sie getrennt erlaubst oder sperrst, steht in Was KI-Crawler dürfen.

So richtest du es ein

Die Datei liegt im Hauptverzeichnis der Website, also unter /robots.txt der Domain. Viele CMS erzeugen sie selbst; in WordPress etwa bearbeitest du sie über ein SEO-Plugin. Sonst legst du sie per FTP oder über den Dateimanager deines Hosters ab. Ein guter Ausgangspunkt:

User-agent: *
Allow: /
Sitemap: https://…/sitemap.xml

Ersetze die Punkte durch deine Domain. Ob Google die Datei lesen kann, zeigt die Google Search Console unter Einstellungen.