Logfile-Analyse
Logfile-Analyse ist die Untersuchung von Server-Zugriffslogs, um zu sehen, wie Suchmaschinen-Crawler tatsächlich durch eine Website navigieren — welche Seiten, wie oft und mit welchen Statuscodes.
Wo Search Console samplet und aggregiert, zeigt die Logfile-Analyse die Rohwahrheit: exakt welche URLs Googlebot, Bingbot, GPTBot und andere Crawler abgerufen haben, wie oft und was der Server zurückgab. Für große Sites (>50.000 URLs) unverzichtbar, um Crawl Budget zu optimieren und KI-Crawler zu überwachen.
Beispiel
Log-Analyse zeigt: Googlebot verbraucht 40 % des Crawl Budgets für einen vergessenen Facet-Filter mit tausenden URL-Varianten. Sperrung via robots.txt lenkt die Crawl-Aufmerksamkeit zurück auf Produktseiten.
Häufig gestellte Fragen
Welches Tool?
Screaming Frog Log File Analyser (Desktop, erschwinglich), Botify oder OnCrawl (Enterprise), oder DIY mit ELK-Stack / BigQuery für extreme Skala.
Kann ich KI-Crawler erkennen?
Ja, über User-Agent: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider. Prüfen, ob Sie sie zulassen; Log-Analyse zeigt, ob GEO-Chancen genutzt werden.
Verwandte Begriffe
Weiterführende Links
- → Unser Service: SEO