ClaudeBot
ClaudeBot is Anthropic's webcrawler die publieke content verzamelt voor training en voor het voeden van Claude's zoek- en research-functionaliteiten.
ClaudeBot (user-agent: ClaudeBot) respecteert robots.txt. Anthropic heeft meerdere crawlers: ClaudeBot (training), Claude-User (on-demand browsing in Claude.ai en API), Claude-SearchBot (web-search voor Claude features). Voor site-eigenaren: toestaan vergroot kans op citaties wanneer Claude-gebruikers vragen die jouw expertise raken; blokkeren beschermt content tegen training maar niet altijd tegen on-demand fetch.
Voorbeeld
In robots.txt: User-agent: ClaudeBot. Training mag op publieke blog, niet op gated klantportaal. Transparant en specifiek.
Allow: /blog/
Disallow: /klantportaal/
Veelgestelde vragen
Claude-SearchBot vs ClaudeBot?
ClaudeBot crawlt voor model-training. Claude-SearchBot indexeert voor Claude's real-time websearch-functie. Beide respecteren robots.txt, maar hebben aparte user-agents.
Hoe word ik gecitioneerd in Claude?
Zorg dat ClaudeBot toegang heeft, publiceer over eigen expertise, structureer content duidelijk (H2/H3, korte alinea's), sta een /llms.txt bestand toe, zorg voor E-E-A-T-signalen.
Claude via API — fetcht dat mijn site?
Als een gebruiker Claude een URL geeft of web-search aanzet: ja, via Claude-User of Claude-SearchBot. Voor reguliere API-calls zonder webtools: nee.
Gerelateerde termen
Verder lezen
- → Onze dienst: GEO
- → Blog: GEO meten in GA4: ChatGPT & Perplexity tracking