GPTBot
GPTBot ist der Web-Crawler von OpenAI, der öffentliche Web-Inhalte zum Training zukünftiger GPT-Modelle und für SearchGPT sammelt.
GPTBot (User-Agent GPTBot, gestartet August 2023) respektiert robots.txt. Site-Betreiber wählen: blockieren (Content vor Training schützen) oder zulassen (in GPT-Wissen präsent sein, Chance auf Zitationen in ChatGPT/SearchGPT). Für GEO-Strategie: Abwägung zwischen Content-Schutz und KI-Sichtbarkeit. OpenAI hat zudem separat OAI-SearchBot (Live-Search) und ChatGPT-User (On-Demand-Browsing).
Beispiel
In robots.txt: User-agent: GPTBot blockiert Training. Oder selektiv:
Disallow: /Disallow: /premium/ schützt nur Premium. Oder nichts: dann crawlt GPTBot frei.
Häufig gestellte Fragen
Sollte ich GPTBot blockieren?
Strategische Entscheidung. Blockieren = nicht in zukünftigen Modellen, aber keine GEO-Sichtbarkeit. Für einzigartigen/urheberrechtlich sensiblen Content: blockieren sinnvoll. Für Marketing-Content: offen lassen.
GPTBot vs OAI-SearchBot?
GPTBot crawlt fürs Training (massenhaft, offline). OAI-SearchBot indexiert für SearchGPT (Echtzeit). ChatGPT-User: on-demand, wenn ein Nutzer in ChatGPT 'Browse' anstößt.
Verwandte Begriffe
Weiterführende Links
- → Unser Service: GEO
- → Blog: GEO messen in GA4: ChatGPT & Perplexity tracken
- → Blog: Was ist GEO? Generative Engine Optimization erklärt