Transformer
Der Transformer ist die neuronale Netzwerkarchitektur, die seit 2017 fast allen modernen Sprachmodellen zugrundeliegt — GPT, Claude, Gemini und Llama.
Der Transformer wurde 2017 in 'Attention is All You Need' von Google-Forschern eingeführt. Schlüsselinnovation: der Attention-Mechanismus, mit dem das Modell kontextuelle Beziehungen zwischen allen Wörtern einer Eingabe parallel berechnen kann. Ermöglichte viel größere, effizientere Modelle als die damals dominanten RNNs.
Beispiel
Im Satz 'Die Bank liegt am Fluss' versteht der Transformer via Attention, dass 'Bank' mit 'Fluss' (Natur) verwandt ist, nicht finanziell. RNNs taten dies sequenziell; Transformer parallel — schneller und genauer.
Häufig gestellte Fragen
Sind alle LLMs Transformer?
2026: praktisch alle. Alternativen (Mamba, RWKV) existieren, haben aber marginale Adoption.
Verwandte Begriffe
Weiterführende Links
- → Unser Service: KI-Branche