Transformer
De Transformer is de neurale netwerk-architectuur die sinds 2017 de basis vormt voor bijna alle moderne taalmodellen — GPT, Claude, Gemini en Llama.
De Transformer werd geïntroduceerd in het paper 'Attention is All You Need' (2017) door Google-onderzoekers. Kerninnovatie: het attention-mechanisme, waardoor het model contextuele relaties tussen alle woorden in een input parallel kan berekenen. Dit maakte veel grotere, efficiëntere modellen mogelijk dan de toen-gangbare RNN-architecturen. Elk modern LLM is een variatie op Transformer.
Voorbeeld
Bij de zin 'De bank ligt aan de oever' begrijpt de transformer via attention dat 'bank' gekoppeld is aan 'oever' (natuur) en niet 'financieel'. RNN's deden dit serieel; transformers parallel over alle woorden tegelijk — zowel sneller als accurater.
Veelgestelde vragen
Zijn alle LLMs transformers?
In 2026: vrijwel alle. Alternatieven (Mamba, RWKV) bestaan maar hebben marginale adoption. Transformer blijft dominant.
Wat is 'attention'?
Mechanisme waardoor het model per token beslist welke andere tokens in de input relevant zijn. Letterlijk 'pay attention to these'-weights.
Wie heeft transformer uitgevonden?
Onderzoekers bij Google Brain (Vaswani et al., 2017). Ironisch: Google was eerst met de tech maar OpenAI werd eerst commercieel dominant met GPT.
Gerelateerde termen
Verder lezen
- → Onze dienst: AI-sector