Context window
Het context window is de maximale hoeveelheid tekst (tokens) die een LLM in één keer kan verwerken — de 'geheugen'-omvang voor één interactie.
Het context window bepaalt wat een LLM tegelijk kan 'zien'. GPT-3 (2020): 2.048 tokens (~1.500 woorden). GPT-4 (2023): 8k-128k. In 2024-2026 zijn 200k tokens (Claude Sonnet) tot 1M tokens (Claude Opus, Gemini Pro) standaard. Grotere windows = complete codebases of boeken tegelijk verwerken, maar kosten per query schalen lineair of kwadratisch met lengte.
Voorbeeld
Claude Opus 1M-context laat toe dat een ontwikkelaar 500.000 regels codebase + documentatie meegeeft en vraagt 'analyseer waar memory-leaks kunnen zitten'. Onmogelijk met 8k-windows van 2023.
Veelgestelde vragen
Wat gebeurt als ik de limiet overschrijd?
API geeft foutmelding; UI-apps knippen oude berichten af. Summarization of retrieval-augmentation zijn standaard-workarounds.
Is groter altijd beter?
Niet per se. Lange contexts kunnen 'lost in the middle'-fenomeen veroorzaken waarbij modellen middenstukken negeren. Kosten stijgen ook proportioneel. Balance is key.
Wat is 'effective context length'?
Het werkelijke bereik waarin het model reliably informatie terugvindt. Vaak kleiner dan adverteerde window. Needle-in-haystack benchmarks meten dit.
Gerelateerde termen
Verder lezen
- → Onze dienst: AI-sector