Crawl-Budget – technische SEO
Was ist das Crawl-Budget, wie beeinflusst es die Indexierung und wie optimiert man es für grosse Websites?- Was ist das Crawl-Budget?
- Faktoren, die das Crawl-Budget beeinflussen
- Crawl-Budget verschwenden vermeiden
- Crawl-Budget optimieren
- Crawl-Aktivität überwachen
Was ist das Crawl-Budget?
Das Crawl-Budget bezeichnet die Anzahl der Seiten, die Googlebot innerhalb eines bestimmten Zeitraums auf einer Website crawlt. Es setzt sich aus zwei Komponenten zusammen:
- Crawl-Rate-Limit – Wie viele Anfragen Googlebot pro Sekunde stellen darf, ohne den Server zu überlasten. Wird durch die Serverkapazität bestimmt.
- Crawl-Demand – Wie interessant die Seiten für Google sind. Seiten mit vielen Backlinks und häufigen Änderungen werden öfter gecrawlt.
Für kleine Websites mit wenigen Seiten ist das Crawl-Budget kein relevantes Thema. Relevant wird es bei grossen Websites mit tausenden von Seiten.
Faktoren, die das Crawl-Budget beeinflussen
Negativ:
- Viele URL-Parameter erzeugen neue URLs für denselben Inhalt
- Duplicate Content – mehrere URLs mit identischem Inhalt
- Weiterleitungsketten und fehlerhafte URLs (404, 500)
- Sehr tiefe Crawl-Tiefe (Seiten mehr als 5 Klicks von der Startseite entfernt)
- Langsame Serverantwortzeiten
Positiv:
- Schnelle Serverantwortzeiten
- Viele hochwertige Backlinks
- Häufig aktualisierter Inhalt
- Saubere URL-Struktur ohne überflüssige Parameter
Crawl-Budget verschwenden vermeiden
Folgende URL-Typen verschwenden Crawl-Budget und sollten blockiert oder konsolidiert werden:
- URL-Parameter – Filter-, Sortier- und Tracking-Parameter wie
?sort=preis&color=rot&utm_source=newsletter - Sitzungs-IDs –
?sessionid=abc123 - Interne Suchergebnisseiten –
/search?q=... - Kalender-URLs – Endlose Paginierung in Event-Kalendern
- Facetten-Navigation – In E-Commerce-Shops entstehen durch Filter tausende URLs
Crawl-Budget optimieren
- robots.txt – Unwichtige Bereiche und URL-Parameter vom Crawling ausschliessen
- Canonical-Tags – Duplicate Content konsolidieren
- noindex – Seiten ohne Mehrwert (Dankeseiten, Druckversionen) aus dem Index ausschliessen
- XML-Sitemap – Nur wichtige, indexierbare URLs aufnehmen
- Interne Verlinkungsstruktur verbessern – Wichtige Seiten max. 3 Klicks von der Startseite entfernt
- Servergeschwindigkeit optimieren – Schnelle Antwortzeiten erhöhen das Crawl-Rate-Limit
Crawl-Aktivität überwachen
- Google Search Console – Crawl-Statistiken unter «Einstellungen» zeigen, wie viele Seiten täglich gecrawlt werden und ob Fehler auftreten
- Log-File-Analyse – Die genaueste Methode, um das tatsächliche Crawlverhalten von Googlebot zu verstehen
- Screaming Frog – Identifiziert Seiten, die gecrawlt werden, aber blockiert oder noindex gesetzt sein sollten
Weitere Informationen finden Sie auf den Seiten Log-File-Analyse, robots.txt, Duplicate Content und Interne Verlinkung.