Crawl budget
Crawl budget is het aantal URL's dat Googlebot binnen een bepaalde periode op jouw site wil en kan crawlen, afhankelijk van servercapaciteit en URL-waarde.
Crawl budget bestaat uit twee componenten: crawl capacity (hoeveel verzoeken je server aankan zonder traag te worden) en crawl demand (hoeveel Google jouw URL's wil bezoeken). Voor kleine sites is het zelden een probleem, maar voor grote e-commerce, nieuwssites en classifiedplatforms is crawl budget een kritische optimalisatie-hefboom.
Voorbeeld
Een webshop heeft 200.000 URL's waarvan 50.000 door facetted-navigatie (?color=red&size=42). Google crawlt daar dagen op, terwijl belangrijke productpagina's worden overgeslagen. Oplossing: facet-parameters via robots.txt of canonical-tags uitsluiten.
Veelgestelde vragen
Hoe zie ik mijn crawl budget-gebruik?
In Search Console > Instellingen > Crawl-statistieken: verzoeken per dag, response-codes, responstijden en hosts. Logbestand-analyse geeft nog gedetailleerdere inzichten.
Welke pagina's verspillen crawl budget?
Duplicate content, oneindige calendar-URL's, faceted-navigatie, URL's met session-ID's, en 404/500-pagina's die herhaaldelijk gecrawld worden.
Beïnvloedt pagesnelheid crawl budget?
Ja, direct. Snellere servers krijgen meer crawl capacity. Bij trage responsen verlaagt Googlebot het tempo om je site niet te overbelasten.
Gerelateerde termen
Verder lezen
- → Onze dienst: SEO