- Zusammenfassung
- Wo findest du die robots.txt?
- Wie ist eine robots.txt aufgebaut?
- Welche Regel gilt bei mehreren Treffern?
- Was unterscheidet robots.txt und noindex?
- Wie kannst du deine robots.txt prüfen?
- Wie schnell übernimmt Google Änderungen?
- Was gilt für KI-Crawler und GEO?
- Wie gehst du mit Änderungen um?
- Weiterführende Links
- Häufig gestellte Fragen
robots.txt
-
Mit robots.txt legst du fest, welche Bereiche Crawler abrufen dürfen. Für den Ausschluss aus dem Index brauchst du eine eigene Anweisung.
-
Bei mehreren passenden Regeln zählt die spezifischste Pfadregel innerhalb der passenden Crawler-Gruppe.
-
Suchnutzung und mögliche Trainingsnutzung kannst du je nach Anbieter getrennt steuern.
- Zusammenfassung
- Wo findest du die robots.txt?
- Wie ist eine robots.txt aufgebaut?
- Welche Regel gilt bei mehreren Treffern?
- Was unterscheidet robots.txt und noindex?
- Wie kannst du deine robots.txt prüfen?
- Wie schnell übernimmt Google Änderungen?
- Was gilt für KI-Crawler und GEO?
- Wie gehst du mit Änderungen um?
- Weiterführende Links
- Häufig gestellte Fragen
Die robots.txt ist eine Textdatei, mit der du festlegst, welche Bereiche deiner Website Crawler abrufen dürfen. Sie gehört zum Robots Exclusion Protocol. Suchmaschinen, die diese Regeln beachten, lesen die Datei vor dem Seitenabruf. Google kann eine gesperrte URL trotzdem in den Suchergebnissen anzeigen. Quelle
Lege zuerst fest, was du erreichen möchtest. Mit der robots.txt steuerst du das Crawling, also den Abruf deiner Inhalte. Um eine Seite aus dem Suchindex zu entfernen, brauchst du eine andere Anweisung, etwa noindex.
Wo findest du die robots.txt?
Du findest die robots.txt im Hauptverzeichnis deiner Website, zum Beispiel unter https://example.com/robots.txt. Google verlangt eine reine Textdatei in UTF-8. Legst du sie in einem Unterordner ab, kann sie die Aufgabe für deine Website nicht erfüllen. Quelle
Die Datei gilt für einen bestimmten Ursprung. Dazu gehören der Hostname, etwa www.example.com, das Protokoll und der Port. Eine Subdomain übernimmt die Regeln der Hauptdomain nicht automatisch. Quelle
Laufen Website und Shop auf unterschiedlichen Hosts, rufe deren jeweilige robots.txt auf. Notiere die geprüfte Adresse. So kannst du die Regeln später dem richtigen Teil deiner Website zuordnen.
Wie ist eine robots.txt aufgebaut?
In der robots.txt ordnest du Pfadregeln einem Crawler oder einer Crawler-Gruppe zu. Mit User-agent benennst du den Crawler. Disallow sperrt einen Pfad, Allow erlaubt einen Pfad beziehungsweise eine Ausnahme von einer Sperre. Über Sitemap gibst du die vollständige Adresse einer Sitemap an. Quelle
Das ist ein fiktives Beispiel. Passe die Pfade und die Sitemap-Adresse an deine Website an, bevor du solche Regeln übernimmst.
User-agent: *
Disallow: /archiv/
Allow: /archiv/hilfe/
Sitemap: https://example.com/sitemap.xml
Der Stern steht für Crawler, für die keine spezifischere Gruppe passt. Disallow sperrt hier den Archivbereich. Die längere Allow-Regel erlaubt den Hilfepfad innerhalb dieses Bereichs.
Die Sitemap-Zeile nennt nur den Speicherort der Sitemap. Auch für die darin genannten URLs gelten die Pfadregeln. Eine gesperrte Seite bleibt durch diesen Eintrag gesperrt.
Welche Regel gilt bei mehreren Treffern?
Google wählt innerhalb der passenden Crawler-Gruppe die spezifischste passende Pfadregel. Dafür zählt die Länge des passenden Pfads. Bei gleich spezifischen widersprüchlichen Regeln gilt Allow. Die Reihenfolge der Zeilen gibt einer Regel keinen Vorrang. Quelle
Im Beispiel darf der Crawler /archiv/alt/ nicht abrufen. Für /archiv/hilfe/ greift die längere Allow-Regel. Die Grafik zeigt, wie sich diese Regeln auf den Abruf auswirken. Über die Aufnahme einer Seite in den Index entscheidet Google getrennt davon.
Bei mehreren Gruppen kommt es auch darauf an, welche davon zum Crawler passen. RFC 9309 beschreibt diese Auswahl anhand des User-agents und die Zusammenführung passender Gruppen. Eine spezifische Crawler-Gruppe übernimmt die Regeln der Stern-Gruppe nicht pauschal. Quelle
Teste wichtige Zieladressen daher mit den jeweils betroffenen Crawlern. Dieselbe Adresse kann je nach Bot erlaubt oder gesperrt sein.

Was unterscheidet robots.txt und noindex?
Mit noindex weist du Google an, eine Seite aus dem Suchindex auszuschließen. Dazu muss Google die Seite abrufen und die Anweisung im Meta-Tag oder HTTP-Header lesen können. Eine gleichzeitige robots.txt-Sperre verhindert diesen Abruf. Den Eintrag noindex innerhalb der robots.txt unterstützt Google nicht. Quelle
Soll ein veröffentlichter Inhalt aus den Suchergebnissen verschwinden, prüfst du seine Indexierung und die passende Anweisung. Eine robots.txt-Sperre allein entfernt eine bekannte URL nicht verlässlich aus dem Index.
Vertrauliche Inhalte brauchen einen Zugriffsschutz. Die robots.txt ist öffentlich einsehbar. Wer sie aufruft, kann die dort genannten Verzeichnisse sehen. Der Standard RFC 9309 stellt klar, dass die Datei keine Zugriffskontrolle ersetzt. Quelle
Wie kannst du deine robots.txt prüfen?
Wenn du deine robots.txt prüfen möchtest, sichere zuerst die vorhandene Fassung. Wähle dann für den betroffenen Crawler konkrete Beispiel-URLs aus: Welche soll er abrufen dürfen, welche sollen gesperrt bleiben? Vergleiche das gewünschte Ergebnis mit den Regeln, die dein Server ausliefert.
Im robots.txt-Bericht der Google Search Console siehst du, welche Fassung Google zuletzt abgerufen hat und ob dabei Probleme aufgetreten sind. Für die Prüfung einer einzelnen Seite nutzt du zusätzlich die URL-Prüfung. Quelle
Auf schmalen Bildschirmen kannst du die Tabelle seitlich verschieben.
| Befund | Mögliche Ursache | Nächster Prüfschritt |
|---|---|---|
| Wichtige Seite wird blockiert | Eine Pfadregel trifft mehr URLs als geplant. | Passende Gruppe und vollständigen Zielpfad prüfen. |
| Ausnahme greift nicht | Regel oder Crawler-Gruppe passt nicht zum Ziel. | User-agent und Spezifität der Regeln vergleichen. |
| Datei enthält noindex | Abruf- und Indexierungssteuerung wurden verwechselt. | Gewünschtes Ergebnis und noindex auf der Seite prüfen. |
| Browser und Search Console zeigen verschiedene Inhalte | Google kennt eine ältere Dateifassung. | Abrufzeitpunkt vergleichen und bei wichtiger Korrektur neuen Abruf beantragen. |
| robots.txt liefert einen Serverfehler | Hosting oder Auslieferung funktionieren nicht zuverlässig. | Erreichbarkeit wiederherstellen und Googles Abrufstatus prüfen. |
| Inhalt sieht wie eine Website statt wie Regeln aus | Falsche Datei oder falsche Auslieferung. | Antwortinhalt und Nur-Text-Format kontrollieren. |
Wenn du eine Sperre aufhebst, kontrolliere auch die interne Verlinkung zur Zielseite. Nutzer:innen und Crawler sollen sie über passende Inhalte finden können. Notiere die geänderte Regel und deine Testergebnisse. Mit der gesicherten Fassung kannst du die Änderung bei Bedarf zurücknehmen.
Wie schnell übernimmt Google Änderungen?
Google speichert die robots.txt normalerweise für bis zu 24 Stunden im Cache. Bei Abrufproblemen kann Google länger auf eine gespeicherte Fassung zurückgreifen. Auch Cache-Control-Angaben können die Dauer beeinflussen. Die 24 Stunden sind daher keine garantierte Übernahmefrist. Quelle
Nach einer wichtigen Korrektur kannst du im robots.txt-Bericht einen erneuten Abruf der Datei beantragen. Quelle Prüfe danach zwei Zeitpunkte: Wann hat Google die neue robots.txt geladen? Und wann hat Google die betroffene Seite erneut abgerufen? Die Freigabe löst keinen garantierten sofortigen Seitenabruf aus.
Was gilt für KI-Crawler und GEO?
Für GEO ist relevant, ob ein Anbieter deine Inhalte für seine Suche abrufen darf. Googlebot crawlt für die Google Suche einschließlich ihrer KI-Funktionen. Eine Freigabe ermöglicht den Abruf, garantiert aber keine Auswahl deiner Website als Quelle in einer KI-Antwort. Quelle
Über Google-Extended steuerst du bestimmte Nutzungen für Gemini-Training und Grounding. Diese Einstellung beeinflusst laut Google weder die Aufnahme noch das Ranking in der Google Suche. Für das Crawling der Suche gelten die Googlebot-Regeln. Quelle
OpenAI verwendet OAI-SearchBot für die ChatGPT-Suche und GPTBot für Inhalte, die für Modelltraining infrage kommen. Du kannst die beiden Nutzungen unabhängig voneinander steuern. Quelle
Entscheide vor einer Sperre, welche Nutzung du erlauben möchtest, und gleiche die Bot-Kennungen mit der aktuellen Anbieter-Dokumentation ab. Mit einer pauschalen Sperre kannst du auch Such-Crawler ausschließen, die deine Inhalte finden sollen.
Wie gehst du mit Änderungen um?
Halte fest, welche URLs du freigeben oder sperren möchtest. Kontrolliere nach der Änderung die Regeln und Googles gespeicherte Fassung. Bei unerwarteten Ergebnissen greifst du auf dein Backup zurück.
Du möchtest klären, welche Regeln für deine Website passen? Wir prüfen die Datei im Zusammenhang mit Crawling und Indexierung als Teil der Suchmaschinenoptimierung. Besprich deine Website mit Digital Wings.
Redaktionell geprüft am 04.11.2026. Pfade und Diagramm zeigen ein fiktives Beispiel. Grundlage sind die verlinkten Primärquellen von Google, OpenAI und der IETF.
-
Google: robots.txt im Überblick
-
Google: robots.txt erstellen
-
Google: Regeln und Verarbeitung
-
IETF: Robots Exclusion Protocol
-
Google: Indexierung mit noindex steuern
-
Google: robots.txt-Bericht
-
Google: KI-Funktionen der Google Suche
-
Google: Google-Crawler und Google-Extended
-
OpenAI: OpenAI-Crawler
-
Google: Sitemaps im Überblick
Häufig gestellte Fragen
-
Braucht jede Website eine robots.txt?
Du brauchst eine robots.txt, wenn du Crawling-Regeln festlegen möchtest. Liefert der Aufruf einer fehlenden Datei einen normalen Nicht-gefunden-Status, geht Google grundsätzlich von keinen robots.txt-Sperren aus. Ob Google deine Seiten abrufen und indexieren kann, hängt zusätzlich von ihrer technischen Erreichbarkeit ab. Aus einer fehlenden Datei lässt sich die Qualität deiner Inhalte nicht ableiten.
-
Was bedeutet Disallow: /?
Mit Disallow: / sperrst du sämtliche Pfade für die Crawler der betreffenden Gruppe. Spezifischere erlaubende Regeln können Ausnahmen schaffen. Kontrolliere vor dem Einsatz den vollständigen Regelblock, besonders bei User-agent: *. Eine solche Sperre kann große Teile deiner Website betreffen. Sie bietet keinen Zugriffsschutz und entfernt bekannte URLs nicht verlässlich aus dem Suchindex.
-
Kann ich noindex in die robots.txt schreiben?
Google unterstützt noindex in der robots.txt nicht. Setze die Anweisung in einem unterstützten Meta-Tag oder HTTP-Header der betreffenden Seite. Google muss diese Seite abrufen können, um noindex zu lesen. Entferne daher eine entgegenstehende Disallow-Regel, wenn Google die Anweisung auswerten soll. Prüfe anschließend die konkrete URL und ihren Indexierungsstatus in der Search Console.
-
Gilt die robots.txt auch für Subdomains?
Eine robots.txt gilt für den Ursprung, unter dem du sie bereitstellst. Dazu gehören Host, Protokoll und Port. Subdomains übernehmen diese Regeln nicht automatisch. Laufen deine Website und dein Shop auf unterschiedlichen Hosts, kontrollierst du die jeweilige Datei getrennt. Notiere bei Tests die vollständige Zieladresse, damit du die Regeln dem richtigen Bereich zuordnen kannst.
-
Hat die letzte Regel in der Datei Vorrang?
Google richtet sich innerhalb der passenden Crawler-Gruppe nach der spezifischsten passenden Pfadregel. Bei gleich spezifischen widersprüchlichen Regeln greift Allow. Eine weiter unten stehende Zeile erhält dadurch keinen Vorrang. Achte auch auf den User-agent: Für einen gezielt angesprochenen Crawler können andere Regeln gelten als für Crawler, auf die nur die allgemeine Stern-Gruppe passt.
-
Wie lange dauert es, bis Google eine Änderung berücksichtigt?
Google speichert die robots.txt normalerweise für bis zu 24 Stunden. Cache-Angaben und Abrufprobleme können diese Dauer verändern. Im robots.txt-Bericht kannst du die gespeicherte Fassung und ihren Abrufzeitpunkt kontrollieren. Nach einer wichtigen Korrektur lässt sich dort ein neuer Abruf beantragen. Wann Google anschließend eine freigegebene Seite crawlt, ist damit noch nicht festgelegt.
-
Kann ich Such-Crawler und Trainings-Crawler getrennt steuern?
Bei Anbietern mit getrennten robots.txt-Kennungen kannst du Suchnutzung und mögliche Trainingsnutzung unabhängig steuern. OpenAI unterscheidet dafür OAI-SearchBot und GPTBot. Google-Extended betrifft bestimmte Gemini-Nutzungen und beeinflusst die Aufnahme in Google Search nicht. Für die Suche ist Googlebot zuständig. Gleiche die Kennungen vor einer Änderung mit der Anbieter-Dokumentation ab. Eine Freigabe garantiert keine Erwähnung in einer KI-Antwort.
-
Schützt die robots.txt vertrauliche Inhalte?
Für vertrauliche Inhalte brauchst du einen Zugriffsschutz. Die robots.txt ist öffentlich einsehbar und beruht darauf, dass Crawler ihre Regeln beachten. Wer die Datei liest, kann auch die darin genannten Verzeichnisse sehen. Ein Disallow-Eintrag hält diese Adressen daher nicht geheim. Lege den Schutz für berechtigte Personen getrennt von den Crawling- und Indexierungsregeln fest.
-
Reicht ein Sitemap-Eintrag aus, um gesperrte Seiten crawlen zu lassen?
Über einen Sitemap-Eintrag erfahren Crawler, wo deine Sitemap liegt. Für die darin genannten URLs gelten weiterhin die robots.txt-Regeln. Kontrolliere daher, ob die gewünschte Zielseite für den jeweiligen Crawler freigegeben ist. Eine Sperre bleibt trotz Sitemap bestehen. Auch das Einreichen einer Sitemap garantiert weder den Abruf noch die Aufnahme einer Seite in den Suchindex.
-
Unterstützt Google crawl-delay?
Google unterstützt crawl-delay in der robots.txt nicht. Mit diesem Eintrag kannst du Googlebot daher keine Abrufpause vorgeben. Bei einer hohen Serverlast untersucht dein Technikteam die tatsächlichen Anfragen und die aktuellen Möglichkeiten zur Crawling-Steuerung in Googles Dokumentation. Regeln für andere Crawler lassen sich nicht pauschal übertragen, weil die Anbieter unterschiedliche Anweisungen unterstützen.
Wie hilfreich fandest du die Informationen?
Klicke auf die Sterne um zu bewerten!
Durchschnittliche Bewertung 0 / 5. Anzahl Bewertungen: 0
Bisher keine Bewertungen! Sei der Erste, der diesen Beitrag bewertet.
Das könnte dich auch interessieren
-
Was ist Answer Engine Optimization?
Answer Engine Optimization (AEO)
Answer Engine Optimization (AEO) bereitet Inhalte als direkte Antworten auf. Erfahre, wie AEO, SEO und GEO zusammenhängen und wie du die Ergebnisse getrennt misst.
Weiterlesen -
Was ist Crawling?
Crawling
Crawling ist der automatisierte Abruf von Webseiten durch einen Crawler. Bei Google übernimmt Googlebot diese Aufgabe. Er ruft bekannte URLs und ihre Inhalte ab. Anschließend…
Weiterlesen -
Was ist ein Canonical Tag?
Canonical Tag
Ein Canonical Tag nennt Suchmaschinen die bevorzugte URL für gleiche oder sehr ähnliche Inhalte. Erfahre, wann du ihn einsetzt und wie du Googles Auswahl prüfst.
Weiterlesen -
Was ist der ROAS?
ROAS (Return on Ad Spend)
ROAS setzt zugerechneten Umsatz ins Verhältnis zu Werbeausgaben. Erfahre, wie du den Wert berechnest und mit Deckungsbeitrag, Break-even und Gewinn vergleichst.
Weiterlesen