Crawl-Budget
Crawl-Budget ist die Anzahl URLs, die Googlebot in einem bestimmten Zeitraum auf Ihrer Site crawlen will und kann, abhängig von Serverkapazität und URL-Wert.
Crawl-Budget hat zwei Komponenten: Crawl-Kapazität (wie viele Anfragen Ihr Server verträgt) und Crawl-Nachfrage (wie sehr Google Ihre URLs besuchen will). Für kleine Sites selten ein Problem; für große E-Commerce-, Nachrichten- und Kleinanzeigen-Sites ein kritischer Optimierungshebel.
Beispiel
Ein Shop hat 200.000 URLs, wovon 50.000 aus facettierter Navigation stammen. Google crawlt dort tagelang, während wichtige Produktseiten übersprungen werden. Lösung: Facet-Parameter via Canonical oder robots.txt ausschließen.
Häufig gestellte Fragen
Wie sehe ich Crawl-Budget-Nutzung?
Search Console > Einstellungen > Crawl-Statistiken: Anfragen pro Tag, Response-Codes, Antwortzeiten. Logdatei-Analyse gibt noch tieferen Einblick.
Verwandte Begriffe
Weiterführende Links
- → Unser Service: SEO