Crawl Budget

Google crawlt jeden Tag Milliarden von Webseiten – doch nicht jede erhält gleich viel Aufmerksamkeit. Während einige Seiten sofort erfasst und indexiert werden, geraten andere ins Hintertreffen. Warum? Weil Google pro Website nur ein bestimmtes Crawl-Budget zur Verfügung stellt. Und wenn dieses für irrelevante oder doppelte Inhalte verbraucht wird, bleiben wichtige Seiten auf der Strecke.

Die Google Search Console (GSC) bietet wertvolle Einblicke in das Crawling-Verhalten. Doch viele Websites verschwenden ihr Potenzial, weil Google sich mit den falschen URLs beschäftigt. Dynamische Filterseiten, doppelte Inhalte oder unnötige Weiterleitungen – all das kann das Crawling verlangsamen.

Wie lässt sich das Crawling effizient steuern? Welche Seiten sind wirklich wichtig – und welche sollten Google gar nicht erst interessieren?

Wie funktioniert das Crawl-Budget – und warum ist es so wichtig?

Google crawlt nicht unbegrenzt. Jede Website erhält ein individuelles Crawl-Budget, das bestimmt, wie viele und welche Seiten innerhalb eines bestimmten Zeitraums erfasst werden. Wird dieses Budget ineffizient genutzt, bleiben wichtige Seiten möglicherweise unentdeckt, während irrelevante oder doppelte Inhalte unnötig viele Ressourcen verbrauchen.

Das Crawl-Budget setzt sich aus zwei Kernfaktoren zusammen:

1. Crawl-Rate-Limit: Wie viele Anfragen kann der Server bewältigen?

Google entscheidet dynamisch, wie oft und in welcher Frequenz eine Website gecrawlt wird. Dabei spielt die Serverleistung eine zentrale Rolle: Lädt eine Website schnell und reagiert zuverlässig, kann der Googlebot mehr Anfragen stellen. Treten hingegen häufig Serverfehler (5xx-Fehler) auf oder sind die Ladezeiten hoch, reduziert Google das Crawling, um die Website nicht zu überlasten.

Früher konnten Website-Betreiber die Crawl-Rate in der Google Search Console manuell anpassen. Diese Option wurde jedoch entfernt – mittlerweile steuert Google die Crawling-Frequenz ausschließlich algorithmisch.

Praxisbeispiel:

Ein großes Nachrichtenportal veröffentlicht täglich aktuelle Artikel. Da der Server jedoch oft überlastet ist und Seiten langsam laden, benötigt der Googlebot mehr Zeit für jede Anfrage. Die Folge: Google reduziert die Crawling-Frequenz, um den Server zu schonen. Neue Artikel werden dadurch erst verspätet indexiert, was sich negativ auf die Sichtbarkeit in den Suchergebnissen auswirken kann.

Faktoren, die das Crawl-Rate-Limit beeinflussen:

• Server-Antwortzeit: Schnelle Websites können häufiger gecrawlt werden. Langsame Ladezeiten führen dazu, dass Google weniger Seiten aufruft.
• Serverfehler (5xx): Häufen sich diese Fehler, drosselt Google das Crawling, um die Serverbelastung zu verringern.
• Botschutz oder Firewalls: Werden Crawler wie Googlebot blockiert oder eingeschränkt, kann das die Crawling-Frequenz unerwartet reduzieren.

2. Crawl-Demand: Welche Seiten hält Google für wichtig?

Nicht jede Seite wird mit der gleichen Priorität gecrawlt – Google entscheidet anhand von Relevanz und Aktualität, welche Inhalte häufiger aufgerufen werden. Seiten, die regelmäßig aktualisiert werden oder starke interne und externe Verlinkungen haben, erhalten in der Regel eine höhere Crawling-Frequenz.

Wichtig: Traffic allein ist kein direkter Faktor für den Crawl-Demand. Selbst wenn eine Seite viele Besucher hat, wird sie nicht zwangsläufig häufiger gecrawlt, wenn Google sie nicht als relevant einstuft.

Praxisbeispiel:

Ein Online-Shop launcht eine neue Produktseite für ein limitiertes Sonderangebot. Diese Seite wird prominent auf der Startseite verlinkt und in Social Media beworben. Zudem gibt es externe Verlinkungen von Partner-Websites. Google erkennt die hohe Relevanz und crawlt die Seite häufiger, um sicherzustellen, dass potenzielle Käufer stets aktuelle Informationen sehen.

Faktoren, die den Crawl-Demand beeinflussen:

• Interne und externe Verlinkungen: Seiten mit vielen eingehenden Links (intern oder extern) werden von Google als wichtiger betrachtet.
• Regelmäßige Aktualisierungen: Inhalte, die häufig überarbeitet werden (z. B. News-Artikel oder Produktseiten mit Änderungen), haben eine höhere Crawling-Priorität.
• Duplicate Content und minderwertige Inhalte: Google erkennt doppelte oder qualitativ schwache Inhalte und kann das Crawling solcher Seiten reduzieren oder ganz einstellen.

Crawlbar ≠ Indexiert

Bevor es um typische Crawl-Probleme geht, sollte ein wichtiger Unterschied geklärt werden:

Nicht jede Seite, die Google crawlen kann, ist auch indexiert.

Oft wird angenommen, dass eine Seite, die von Google erfasst wird, automatisch in den Suchergebnissen erscheint. Doch das ist nicht der Fall. Crawlbarkeit und Indexierung sind zwei unterschiedliche Prozesse:

• Crawlbar: Eine Seite ist für Google zugänglich und kann vom Googlebot aufgerufen werden.
• Indexiert: Eine Seite wurde nicht nur gecrawlt, sondern auch in den Google-Index aufgenommen und kann in den Suchergebnissen erscheinen.

Eine Seite kann von Google gecrawlt, aber dennoch nicht indexiert werden. Das kann verschiedene Gründe haben:

• Sie enthält ein noindex-Tag, das Google explizit mitteilt, die Seite nicht in den Index aufzunehmen.
• Sie verweist über ein Canonical-Tag auf eine andere URL, die als Hauptversion gilt.
• Google stuft die Seite als Duplicate Content oder minderwertig ein und entscheidet sich aktiv gegen die Indexierung.
• Sie ist über robots.txt blockiert, was das Crawlen verhindert – allerdings nicht zwangsläufig die Indexierung, falls die URL bereits bekannt ist (z. B. durch externe Links).

Beispiel:

Ein Online-Shop bietet eine Produktseite an, die über die Navigation erreichbar ist. Die Seite ist technisch crawlbar, aber der Shop-Betreiber hat bewusst ein noindex-Tag gesetzt, da es sich um eine temporäre Sonderaktion handelt.
Google kann die Seite also abrufen, aber sie wird nicht im Index aufgenommen – und damit auch nicht in den Suchergebnissen erscheinen.

Typische Crawl-Probleme aus der SEO-Praxis

Wenn Google sein Crawl-Budget ineffizient nutzt, liegt das häufig an strukturellen oder technischen Problemen der Website. Besonders große oder dynamisch generierte Websites sind anfällig für unnötige Crawls, die wichtige Inhalte in den Hintergrund drängen. Drei typische Szenarien treten immer wieder auf:

1. Online-Shops mit unzähligen URL-Varianten

Viele E-Commerce-Websites erzeugen durch Filteroptionen automatisch eine Vielzahl an URLs. Google betrachtet diese Varianten oft als separate Seiten und verschwendet Crawl-Ressourcen auf minimal unterschiedliche Inhalte, während zentrale Produkt- oder Kategorieseiten seltener besucht werden.

2. Veraltete oder irrelevante Seiten im Index

Landingpages für längst abgelaufene Kampagnen, verwaiste Blogartikel oder automatisch generierte Tag- und Archivseiten sind in vielen Content-Management-Systemen noch aktiv. Solche Seiten haben meist keine aktuelle Relevanz mehr, werden aber weiterhin von Google gecrawlt, was Kapazitäten für neue, wichtige Inhalte reduziert.

3. Dynamische URLs mit Session-IDs und Tracking-Parametern

Manche Websites generieren für jede Nutzerinteraktion eine eigene URL – etwa durch Session-IDs oder Tracking-Parameter. Dadurch entstehen tausende fast identische Seiten, die von Google als separate Ressourcen wahrgenommen werden. Das kann dazu führen, dass die tatsächlich relevanten Seiten seltener gecrawlt werden.

Wie sich das Crawl-Budget gezielt steuern lässt

Unabhängig vom konkreten Problem gibt es bewährte Maßnahmen, um das Crawling zu optimieren. Eine klare Steuerung über robots.txt, noindex-Attribute oder Canonical-Tags hilft, Google die richtigen Signale zu senden. Zusätzlich ermöglicht die Google Search Console eine gezielte Verwaltung von URL-Parametern, um irrelevante Varianten vom Crawling auszuschließen.

Analysieren Sie regelmäßig, welche Seiten tatsächlich indexiert werden sollen, und stellen Sie so sicher, dass das Crawl-Budget effizient genutzt wird und sich Google auf die wirklich relevanten Inhalte konzentriert.

Crawl-Budget überwachen: Wichtige Analyse-Tools und Methoden

Um das Crawl-Budget gezielt zu optimieren, ist es entscheidend zu verstehen, wie Google mit einer Website interagiert. Die Google Search Console liefert wertvolle Einblicke in das Crawling-Verhalten, aber auch externe Tools helfen dabei, Probleme frühzeitig zu erkennen und gezielte Maßnahmen abzuleiten.

1. Crawling-Statistiken in der Google Search Console nutzen

Die Google Search Console bietet unter „Einstellungen“ → „Crawling-Statistiken“ eine detaillierte Analyse darüber, wie oft und mit welcher Intensität Google eine Website crawlt. Besonders relevante Kennzahlen sind:

• Anzahl der gecrawlten Seiten pro Tag – Zeigt, wie aktiv Google die Website crawlt und ob sich Veränderungen im Crawl-Verhalten ergeben haben.
• Server-Antwortzeiten – Hohe Ladezeiten können dazu führen, dass Google weniger Seiten crawlt, um den Server nicht zu überlasten.
• HTTP-Statuscodes – Eine hohe Anzahl an 5xx-Fehlern kann das Crawling drosseln. 404-Fehler sind meist unkritisch, solange sie korrekt gehandhabt werden.

Ein plötzlicher Rückgang der Crawling-Aktivität kann auf Serverprobleme, falsch gesetzte robots.txt-Regeln oder technische Einschränkungen hindeuten.

2. Crawling-Simulation mit Screaming Frog

Screaming Frog kann das Crawling aus Sicht einer Suchmaschine simulieren und dabei technische Fehler aufdecken. Besonders wichtig für die Crawl-Budget-Optimierung sind:

• Welche Seiten Google theoretisch crawlen kann und welche blockiert sind (robots.txt, noindex).
• Ob wichtige Seiten intern gut verlinkt sind oder in der Seitenstruktur isoliert liegen.
• Ob es Weiterleitungsketten gibt, die das Crawling verlangsamen oder unnötig kompliziert machen.
• Doppelte Inhalte und korrekte Canonical-Tags, um Crawling-Ressourcen nicht auf Duplikate zu verschwenden.

Eine regelmäßige Überprüfung hilft dabei, technische Barrieren zu identifizieren und Google das Crawlen der richtigen Seiten zu erleichtern.

Fazit: Crawl-Budget effizient nutzen und wichtige Seiten priorisieren

Das Crawl-Budget ist ein entscheidender Faktor für die Sichtbarkeit einer Website in den Google-Suchergebnissen. Wenn Google unnötige oder irrelevante Seiten crawlt, bleiben möglicherweise genau die Inhalte unberücksichtigt, die für die Indexierung und das Ranking entscheidend sind.

Eine gezielte Optimierung des Crawl-Budgets sorgt dafür, dass Google sich auf die relevanten Inhalte konzentriert. Maßnahmen wie eine strategische interne Verlinkung, die gezielte Steuerung von noindex-Seiten, die Optimierung der XML-Sitemap sowie eine verbesserte Server-Performance tragen dazu bei, dass Google effizienter arbeitet und wichtige Seiten priorisiert.

Besonders für große Websites mit vielen dynamisch generierten URLs, veralteten Inhalten oder technischen Crawling-Hindernissen ist eine regelmäßige Analyse unerlässlich. Die Google Search Console und Tools wie Screaming Frog helfen dabei, Probleme frühzeitig zu erkennen und das Crawl-Budget optimal zu steuern.

Letztlich gilt: Wer Google die richtigen Signale sendet und das Crawling gezielt lenkt, sorgt für eine bessere Indexierung und langfristig bessere Rankings.