Wat is er aan de hand?
Diverse websites die gebruik maken van bepaalde CDN’s (Content Delivery Networks) ervaren momenteel problemen met de manier waarop Google hun websites indexeert. Opvallend genoeg zien webmasters een flinke stijging in de server responstijden voor crawling, terwijl het totale aantal crawl-verzoeken juist afneemt.
In simpele woorden: Google crawlt minder pagina’s, maar heeft veel meer tijd nodig om dit te doen. Deze problemen begonnen begin februari en zijn voor sommige websites nog steeds actueel.
Waar komt dit probleem vandaan?
Het probleem werd ontdekt door SEO-expert Gianna Brachetti-Truskawa, die hierover berichtte op zowel LinkedIn als Bluesky. De oorzaak blijkt een stille update te zijn van Google’s IP-ranges voor crawling, die plaatsvond op 4 februari 2025.
Als jouw website gebruik maakt van een CDN, kan het zijn dat de Web Application Firewall (WAF) – die je site beschermt tegen DDoS-aanvallen – Googlebot nu onbedoeld blokkeert of vertraagt. Dit gebeurt omdat de WAF de nieuwe IP-adressen van Googlebot niet herkent als legitieme crawler.
Welke CDN’s zijn getroffen?
Interessant is dat niet alle CDN’s hetzelfde reageren op deze update. Volgens Brachetti-Truskawa heeft Cloudflare de situatie goed onder controle. Andere CDN’s, waaronder grote spelers zoals Akamai Technologies, lijken de IP-ranges voor Googlebot nog niet te hebben bijgewerkt.
Wat zegt Google hierover?
John Mueller van Google reageerde op de zorgen via Bluesky. Hij legde uit dat Google automatisch updates doorvoert in het JSON-bestand waarin alle Googlebot IP-adressen staan. Mueller gaf aan dat de recente wijzigingen relatief klein waren – slechts twee IP-blokken toegevoegd (IPv6/IPv4) – en geen complete herziening.
Mueller voegde toe: “Het is moeilijk te voorspellen hoe het web zal reageren op subtiele infrastructuurveranderingen, wat deels de reden is waarom we deze IP-ranges automatisch publiceren. Hopelijk was het slechts een kortstondige verstoring!”
Wat kun je doen als je getroffen bent?
Brachetti-Truskawa deelde enkele tips voor webmasters die met dit probleem te maken hebben:
- Neem contact op met je CDN-provider: Vraag of ze hun IP-ranges voor Googlebot hebben bijgewerkt. Laat ze dit verifiëren met Google’s JSON-bestand.
- Overweeg een andere provider: Als je huidige CDN niet meekomt met deze updates, overweeg dan over te stappen naar een provider die wel bij blijft met deze veranderingen.
- Monitor zelf de veranderingen: Je kunt wijzigingen in het JSON-bestand zelf monitoren, of snapshots vinden in de Wayback Machine. Je kunt ook zelf snapshots opslaan en de bestanden vergelijken met tools zoals Testomato, Little Warden of een vergelijkingsplugin in Notepad++.
Hoe controleer je of je getroffen bent?
Controleer je crawl-statistieken in Google Search Console. Als je een daling ziet in het aantal crawl-verzoeken gecombineerd met een stijging in server responstijden, kan dit erop wijzen dat je door dit probleem getroffen bent.
Conclusie
Deze situatie toont aan hoe belangrijk het is om up-to-date te blijven met Google’s infrastructuurwijzigingen, vooral als je gebruik maakt van een CDN. Het regelmatig controleren van je crawl-statistieken en samenwerken met je CDN-provider kan helpen om problemen vroegtijdig te identificeren en op te lossen.
Heb je ook te maken met deze crawling-problemen? Deel je ervaringen in de reacties hieronder!
Bronnen: Search Engine Roundtable, LinkedIn en Bluesky berichten van Gianna Brachetti-Truskawa, WebmasterWorld forum