- Zusammenfassung
- Wie funktioniert Crawling bei Google?
- Woran erkennst du Crawling-Probleme?
- Welche Ursachen solltest du prüfen?
- Wie unterscheiden sich robots.txt und noindex?
- Wann ist das Crawl-Budget relevant?
- Wie oft crawlt Google eine Seite?
- Wie sieht ein Crawling-Fehler im Shop aus?
- Welche Rolle spielt Crawling für GEO und AI Search?
- Wie gehst du jetzt weiter vor?
- Weiterführende Links
- Häufig gestellte Fragen
Crawling
-
Crawling bedeutet: Googlebot ruft Inhalte deiner Website ab.
-
Prüfe eine konkrete URL und trenne gespeicherten Stand und Live-Test.
-
robots.txt steuert den Abruf. Für noindex muss Google die Regel lesen können.
- Zusammenfassung
- Wie funktioniert Crawling bei Google?
- Woran erkennst du Crawling-Probleme?
- Welche Ursachen solltest du prüfen?
- Wie unterscheiden sich robots.txt und noindex?
- Wann ist das Crawl-Budget relevant?
- Wie oft crawlt Google eine Seite?
- Wie sieht ein Crawling-Fehler im Shop aus?
- Welche Rolle spielt Crawling für GEO und AI Search?
- Wie gehst du jetzt weiter vor?
- Weiterführende Links
- Häufig gestellte Fragen
Crawling ist der automatisierte Abruf von Webseiten durch einen Crawler. Bei Google übernimmt Googlebot diese Aufgabe. Er ruft bekannte URLs und ihre Inhalte ab. Anschließend kann Google die Inhalte weiterverarbeiten und über ihre Aufnahme in den Suchindex entscheiden. Google Search Central beschreibt Crawling und Indexierung als getrennte Schritte der Suche. Quelle
Für deine SEO-Arbeit heißt das: Prüfe zuerst, ob Google deine Seite überhaupt erreichen kann. Ein funktionierender Aufruf in deinem Browser beantwortet diese Frage noch nicht. Googlebot kann etwa an einer Sperre scheitern, die Besucher:innen nicht betrifft.
Wie funktioniert Crawling bei Google?
Beim Crawling ruft Googlebot bekannte URLs ab und folgt erreichbaren Links zu weiteren Seiten. Google entdeckt Adressen unter anderem über bereits bekannte Seiten und Sitemaps. Eine neue Seite bekommt deshalb einen nachvollziehbaren Einstieg in deine Website: Verlinke sie aus einem passenden Inhalt oder einer Übersichtsseite. Laut Google sind Links mit einem a-Element und einem href-Attribut zuverlässig crawlbar. Quelle
Vor dem Abruf prüft Googlebot die geltenden robots.txt-Regeln. Erlauben diese den Zugriff, fordert er die Seite vom Server an. Google entscheidet selbst, welche URLs wann abgerufen werden.
Erzeugt JavaScript den Inhalt, kommt Rendering hinzu: Google führt JavaScript aus, um die Seite zu verarbeiten. Das kann zeitversetzt passieren. Prüfe deshalb auch, ob wichtige Texte und Links in der gerenderten Fassung vorhanden sind. Google beschreibt diesen Ablauf in seiner JavaScript-Dokumentation. Ein erfolgreicher Abruf allein bestätigt noch keine Aufnahme in den Suchindex. Die nachfolgende Indexierung ist ein eigener Prüfschritt. Quelle

Woran erkennst du Crawling-Probleme?
Crawling-Probleme erkennst du, indem du den Zugriff auf eine konkrete URL und die dokumentierten Google-Abrufe prüfst. Starte in der Google Search Console mit der vollständigen Adresse. Achte auf Varianten mit Parametern oder Weiterleitungen, damit du tatsächlich die gewünschte Seite untersuchst.
Die URL-Prüfung zeigt dir den gespeicherten Stand bei Google. Kontrolliere den letzten Abruf und Hinweise darauf, ob Crawling erlaubt war und die Seite abgerufen werden konnte. Der Live-Test prüft die aktuell erreichbare Fassung. Google weist darauf hin, dass ein erfolgreicher Live-Test keine bereits erfolgte Indexierung bestätigt. Quelle
Für Entwicklungen auf der gesamten Website nutzt du den Bericht zur Crawling-Statistik. Dort siehst du unter anderem Anfragen, Antwortzeiten und Antwortcodes. Die Beispiel-URLs sind keine vollständige Liste aller Abrufe. Ergänzend können Serverlogs zeigen, welche Adressen angefordert wurden. Ein als Googlebot bezeichneter User-Agent allein belegt dabei noch keinen echten Google-Abruf. Quelle
Notiere zu jedem Befund die URL und den Prüfzeitpunkt. So kannst du nach einer Korrektur vergleichen, was sich tatsächlich geändert hat.
Welche Ursachen solltest du prüfen?
Prüfe bei Crawling-Problemen zuerst Entdeckung, Zugriffsregeln und Serverantworten. Fehlt eine Seite in der Suche, kann die Ursache aber auch erst bei der Indexierung liegen. Die Tabelle hilft dir, diese Fälle zu trennen. Sie ersetzt die Prüfung der konkreten URL nicht.
Auf schmalen Bildschirmen kannst du die Tabelle seitlich verschieben.
| Beobachtung | Mögliche Ursache | Nächster Prüfschritt |
|---|---|---|
| Neue URL bleibt unbekannt | Es fehlen auffindbare Links | Passenden internen Link und Sitemap prüfen |
| Abruf ist durch robots.txt blockiert | Eine Regel sperrt den Pfad | Regel für Googlebot und genaue URL prüfen |
| Zugriff endet mit 403 | Server oder Firewall verweigert den Zugriff | Zugriffsbeschränkung mit der Technik prüfen |
| Antwort ist 404 oder 410 | Die URL liefert keinen vorhandenen Inhalt | Zieladresse und beabsichtigten Status prüfen |
| Server meldet 5xx oder 429 | Serverfehler oder zu viele Anfragen | Verfügbarkeit und Serverlast untersuchen |
| Wichtiger Text fehlt beim Rendering | JavaScript oder Ressourcen sind nicht verfügbar | Gerenderten Inhalt und Ressourcen prüfen |
| Abruf erfolgt, Seite bleibt ausgeschlossen | Ursache kann bei der Indexierung liegen | noindex und kanonische URL prüfen |
Google erläutert die Verarbeitung von Statuscodes in seiner Crawling-Dokumentation. Wiederholte Serverfehler oder 429-Antworten können das Crawling verringern. Ein selbst gewählter Fehlercode ist deshalb kein sinnvoller Ersatz für eine saubere Zugriffsregel. Quelle
Priorisiere bestätigte Fehler auf Seiten, die deine Zielgruppe finden soll. Ändere eine Einstellung erst, wenn du ihren Zweck verstanden hast. Prüfe danach erneut dieselbe URL und dokumentiere das Ergebnis.
Wie unterscheiden sich robots.txt und noindex?
robots.txt steuert den Abruf, noindex die Aufnahme in den Suchindex. Eine robots.txt-Sperre verhindert nicht zuverlässig, dass eine bekannte URL in Suchergebnissen erscheint. Google kann die Adresse etwa über Links kennen, ohne ihren Inhalt abzurufen. Diese Grenze erklärt Google in der Dokumentation zu robots.txt. Quelle
Soll eine Seite aus dem Index bleiben, muss Google eine noindex-Regel lesen können. Sperrst du gleichzeitig ihren Abruf, kann Google die Regel auf der Seite nicht erkennen. Prüfe deshalb zuerst dein Ziel: Möchtest du Abrufe begrenzen oder die Indexierung ausschließen? Google dokumentiert noindex als Meta-Tag und als HTTP-Header. Quelle

Wann ist das Crawl-Budget relevant?
Das Crawl-Budget ist besonders bei großen oder häufig aktualisierten Websites relevant. Google beschreibt damit den Umfang an URLs, den Googlebot crawlen kann und crawlen möchte. Dahinter stehen die verfügbare Crawling-Kapazität und der Crawling-Bedarf.
Prüfe zuerst, ob wichtige neue Inhalte zeitnah entdeckt werden und ob technische Fehler den Abruf behindern. Bei einer überschaubaren Website ohne solche Probleme brauchst du nicht vorsorglich jedes Crawling-Signal zu verändern. Bei großen Shops können sehr viele ähnliche Filter-URLs unnötige Abrufe erzeugen. Google empfiehlt unter anderem, unwichtige Duplikate zu begrenzen und Serverfehler zu beheben. Mehr Abrufe allein garantieren keine bessere Platzierung. Quelle
Wie oft crawlt Google eine Seite?
Google crawlt Seiten ohne einheitlichen Zeitplan. Wie oft eine URL abgerufen wird, hängt unter anderem von Änderungsbedarf und den verfügbaren Serverressourcen ab. Beurteile deshalb die konkrete Seite anhand ihres letzten dokumentierten Abrufs.
Nach einer wichtigen Änderung kannst du in der Search Console die Indexierung beantragen. Google nennt für einen erneuten Abruf wenige Tage bis einige Wochen. Wiederholte Anträge beschleunigen den Vorgang nicht. Eine Sitemap kann helfen, viele geänderte URLs bekannt zu machen. Google garantiert weder den Abruf noch die Aufnahme. Die Dauer bis zur sichtbaren Änderung im Suchergebnis behandelst du getrennt davon. Quelle
Wie sieht ein Crawling-Fehler im Shop aus?
Ein Crawling-Fehler kann eine neue Shop-Kategorie betreffen, obwohl ihr Menülink funktioniert. Ein fiktives Beispiel: Du legst eine Kategorie an und verlinkst sie im Shop. Eine ältere robots.txt-Regel sperrt aber noch den gesamten zugehörigen Pfad für Googlebot.
Prüfe die genaue Kategorie-URL mit der URL-Prüfung und kontrolliere die passende Regel. Soll Google die Seite abrufen, lässt du die versehentliche Sperre korrigieren. Teste danach den aktuellen Zugriff erneut. Halte fest, welche Regel geändert wurde und was der neue Test zeigt. Prüfe anschließend den nächsten regulären Abruf und den Indexstatus getrennt. Das Entfernen der Sperre allein bestätigt noch keine Indexierung der Kategorie.
Welche Rolle spielt Crawling für GEO und AI Search?
Crawling schafft auch für Googles KI-Suchfunktionen den Zugang zu deinen Inhalten. Google nennt Googlebot als Steuerung für die Suche einschließlich AI Overviews und AI Mode. Damit eine Seite dort als unterstützender Link infrage kommt, muss sie indexiert und für ein Snippet geeignet sein. Abrufbarkeit allein erfüllt diese Voraussetzungen noch nicht. Quelle
Prüfe für GEO und AI Search deshalb zuerst die Grundlagen. Schreibe anschließend verständliche, belegte Antworten. Eine garantierte Nennung in KI-Antworten ergibt sich daraus nicht. Regeln für Googlebot lassen sich außerdem nicht pauschal auf die Crawler anderer Anbieter übertragen.
Wie gehst du jetzt weiter vor?
Prüfe eine wichtige URL und dokumentiere den letzten Abruf sowie aktuelle Zugriffshindernisse. Du brauchst Unterstützung bei der Diagnose? In unserer SEO-Beratung ordnen wir den Befund mit dir ein. Schick uns deine URL und deine Frage über das Kontaktformular.
Redaktionell geprüft am 29.10.2026. Shop-Beispiel und Diagramme sind schematisch. Grundlage sind die verlinkten Google-Dokumentationen.
-
Google: Funktionsweise der Suche
-
Google: Crawlbare Links
-
Google: JavaScript und Rendering
-
Google: URL-Prüfung
-
Google: Crawling-Statistik
-
Google: HTTP-Statuscodes
-
Google: robots.txt
-
Google: noindex
-
Google: Kanonische URLs
-
Google: Crawl-Budget
-
Google: Erneutes Crawling anfordern
-
Google: KI-Suchfunktionen
-
Google: Google-Anfragen verifizieren
-
Google: Sitemaps
Häufig gestellte Fragen
-
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling ist der Abruf einer Seite; bei der Indexierung verarbeitet Google den Inhalt und entscheidet über seine Aufnahme in den Suchindex. Prüfe beide Schritte getrennt. Eine gecrawlte Seite muss nicht indexiert sein. In der Search Console kannst du den letzten Abruf und den gespeicherten Indexstatus prüfen. Ein erfolgreicher Live-Test bestätigt noch keine Aufnahme.
-
Wie oft besucht Googlebot meine Website?
Googlebot besucht Seiten ohne festen Rhythmus. Der nächste Abruf hängt unter anderem vom Crawling-Bedarf und von der Serverkapazität ab. Prüfe den letzten Abruf einer konkreten URL in der Search Console. Die Crawling-Statistik zeigt dir Entwicklungen auf Website-Ebene. Daraus lässt sich keine feste Frist für den nächsten Besuch auf jeder einzelnen Seite ableiten.
-
Kann ich Google zum Crawlen auffordern?
Du kannst nach einer wichtigen Änderung über die URL-Prüfung in der Search Console die Indexierung beantragen. Für viele neue oder geänderte URLs hilft zusätzlich eine Sitemap bei der Entdeckung. Google entscheidet selbst über den Abruf und die spätere Aufnahme. Wiederhole den Antrag nicht laufend: Laut Google beschleunigt das den Vorgang nicht.
-
Verhindert robots.txt die Indexierung einer Seite?
Eine robots.txt-Sperre verhindert die Indexierung einer bekannten URL nicht zuverlässig. Sie steuert den Abruf. Google kann eine gesperrte Adresse über andere Links kennen und ohne abgerufenen Inhalt anzeigen. Möchtest du eine Seite gezielt aus dem Index ausschließen, prüfe eine noindex-Regel. Google muss die Regel beim Abruf erkennen können, damit sie wirksam wird.
-
Warum funktioniert noindex trotz Einstellung nicht?
Eine noindex-Regel kann erst wirken, wenn Google sie abrufen und verarbeiten kann. Prüfe deshalb, ob robots.txt oder andere Zugriffsbeschränkungen den Abruf verhindern. Kontrolliere außerdem, ob die Regel tatsächlich in der aktuellen Seitenversion steht. Ein alter gespeicherter Indexstatus kann bestehen bleiben, bis Google die Änderung gelesen hat. Der Live-Test und der Indexbericht zeigen unterschiedliche Stände.
-
Kann Google Inhalte aus JavaScript crawlen?
Google kann JavaScript ausführen und die dadurch erzeugten Inhalte verarbeiten. Dafür müssen die Seite und wichtige Ressourcen zugänglich sein. Das Rendering kann zeitversetzt zum ersten Abruf erfolgen. Prüfe deshalb die gerenderte Seitenfassung, wenn Texte oder Links fehlen. Dass du einen Inhalt im eigenen Browser siehst, bestätigt noch nicht, dass Google dieselbe Fassung verarbeitet hat.
-
Braucht jede Website eine Crawl-Budget-Optimierung?
Nicht jede Website braucht eine eigene Crawl-Budget-Optimierung. Google richtet seine ausführlichen Empfehlungen vor allem an große oder häufig aktualisierte Websites. Prüfe zunächst konkrete Hindernisse und die Entdeckung wichtiger URLs. Bei großen Shops können zahlreiche ähnliche Filterseiten unnötige Abrufe erzeugen. Eine kleinere Website ohne solche Probleme muss nicht vorsorglich ihre Crawling-Steuerung umbauen.
-
Was unterscheidet die URL-Prüfung von der Crawling-Statistik?
Die URL-Prüfung untersucht eine konkrete Adresse. Sie zeigt den gespeicherten Stand bei Google und bietet einen Live-Test der aktuellen Seite. Die Crawling-Statistik zeigt Entwicklungen für die Website, etwa Anfragen und Antwortzeiten. Ihre Beispiel-URLs bilden nicht alle Abrufe ab. Nutze die URL-Prüfung für einen Einzelfall und die Statistik, um übergreifende Auffälligkeiten zu erkennen.
-
Kann eine Firewall Googlebot blockieren?
Eine Firewall oder andere Zugriffsbeschränkung kann den Abruf durch Googlebot verhindern. Prüfe bei verdächtigen Serverantworten zusammen mit der Technik, welche Regel die Anfrage abgewiesen hat. Verlasse dich bei der Identifikation nicht allein auf den angegebenen User-Agent. Google dokumentiert die Prüfung echter Googlebot-Anfragen. Passe Regeln gezielt an und teste danach die betroffene URL erneut.
-
Reicht Crawling für eine Nennung in Googles KI-Antworten?
Crawling allein reicht für einen unterstützenden Link in Google AI Overviews oder AI Mode nicht aus. Google nennt Indexierung und Eignung für die Anzeige eines Snippets als Voraussetzungen. Prüfe diese technischen Grundlagen und formuliere verständliche, belegte Antworten. Ob Google deine Seite tatsächlich auswählt, entscheidet Google gesondert. Eine garantierte Nennung lässt sich daraus nicht ableiten.
Wie hilfreich fandest du die Informationen?
Klicke auf die Sterne um zu bewerten!
Durchschnittliche Bewertung 0 / 5. Anzahl Bewertungen: 0
Bisher keine Bewertungen! Sei der Erste, der diesen Beitrag bewertet.
Das könnte dich auch interessieren
-
Was ist der ROAS?
ROAS (Return on Ad Spend)
ROAS setzt zugerechneten Umsatz ins Verhältnis zu Werbeausgaben. Erfahre, wie du den Wert berechnest und mit Deckungsbeitrag, Break-even und Gewinn vergleichst.
Weiterlesen -
Was ist eine robots.txt?
robots.txt
Die robots.txt steuert, welche Bereiche deiner Website Crawler abrufen dürfen. Erfahre, wie du Regeln prüfst und Crawling von Indexierung unterscheidest.
Weiterlesen -
Was ist Answer Engine Optimization?
Answer Engine Optimization (AEO)
Answer Engine Optimization (AEO) bereitet Inhalte als direkte Antworten auf. Erfahre, wie AEO, SEO und GEO zusammenhängen und wie du die Ergebnisse getrennt misst.
Weiterlesen -
Was sind strukturierte Daten?
Strukturierte Daten
Strukturierte Daten beschreiben Seiteninhalte maschinenlesbar. Verstehe Schema.org und den JSON-LD-Aufbau anhand von Artikel- und Produktbeispielen.
Weiterlesen