Log file analyse
Log file analyse is het onderzoeken van server-toegangslogs om te zien hoe zoekmachine-crawlers daadwerkelijk door een site navigeren — welke pagina's, hoe vaak en met welke statuscodes.
Waar Search Console samplet en aggregeert, toont log file analyse de rauwe waarheid: exact welke URL's Googlebot, Bingbot, GPTBot en andere crawlers hebben opgehaald, hoe vaak, en wat de server terugkeerde. Voor grote sites (>50.000 URL's) onmisbaar om crawl-budget te optimaliseren en AI-crawlers te monitoren.
Voorbeeld
Log-analyse onthult dat Googlebot 40% van zijn crawl-budget besteedt aan een vergeten facet-filter met duizenden URL-varianten. Blokkeren via robots.txt brengt crawl-aandacht naar productpagina's terug.
Veelgestelde vragen
Welke tool voor log-analyse?
Screaming Frog Log File Analyser (desktop, prijsvriendelijk), Botify of OnCrawl (enterprise), of DIY met ELK-stack / BigQuery voor extreme schaal.
Welke data heb ik nodig?
Minimaal 30 dagen aan ruwe access-logs van je webserver, inclusief user-agent, URL, statuscode, timestamp en (optioneel) response-time.
Kan ik AI-crawlers herkennen?
Ja, via user-agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider. Check of je ze wil toestaan; log-analyse laat zien of je GEO-kans benut wordt.
Gerelateerde termen
Verder lezen
- → Onze dienst: SEO