Token
Kurz gesagt
Ein Token ist die Basiseinheit, mit der ein LLM Text verarbeitet — typisch ein Sub-Wort-Fragment, etwa 4 Zeichen oder 0,75 Wörter im Englischen.
LLMs arbeiten nicht auf Wörtern oder Zeichen, sondern auf Tokens — Sub-Wort-Einheiten eines Tokenizers. Das Wort 'Volatilität' könnte in ['Vola', 'ti', 'lität'] gesplittet werden. Pro Sprache variiert das: Englisch ~1,33 Tokens/Wort, Deutsch ~1,5-2. LLM-Kosten werden meist pro Million Input/Output-Tokens berechnet.
Beispiel
Ein 10.000-Wörter-Bericht auf Englisch hat ~13.300 Tokens. Mit Claude Sonnet ($3/1M Input-Tokens) kostet die Analyse ~$0,04. Deutsch: ~17.500 Tokens ≈ $0,05.
Häufig gestellte Fragen
Ist Deutsch teurer als Englisch?
Ja, ~25-40% mehr Tokens bei gleichem Inhalt. Für Produktion: in Kosten-Modellierung berücksichtigen.
Verwandte Begriffe
Weiterführende Links
- → Unser Service: KI-Branche