Wörter ≠ Tokens

Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy — Lektion 8 von 23.

Ein häufiger Fehler ist die Annahme, dass ein Wort einem Token entspricht. So funktioniert das nicht.

Das Wort cat ist ein Token. Aber cats? Das könnten zwei Token sein: cat und s. Das Wort hello ist ein Token, aber Hello mit einem großen H könnte anders tokenisiert werden.

Leerzeichen, Interpunktion und Groß- und Kleinschreibung beeinflussen alle, wie Text aufgeteilt wird.

Hier sind einige überraschende Beispiele:

Text	Ungefähre Token
`dog`	1
`dogs`	1-2
`extraordinary`	2-3
`123456`	2-3
`!!!`	1-3

Zahlen sind besonders tückisch. Man könnte meinen, 1000 sei ein einzelner Token, aber es könnte in 100 und 0 oder sogar Ziffer für Ziffer aufgeteilt werden. Aus diesem Grund hat KI manchmal Schwierigkeiten mit präziser Mathematik – sie sieht Zahlen nicht so, wie Sie es tun.

Die entscheidende Erkenntnis: Token-Anzahlen sind unvorhersehbar, wenn man nur Wörter zählt. Ein Prompt mit 100 Wörtern könnte 130 Token oder 150 verbrauchen, abhängig von den spezifischen Wörtern, die Sie gewählt haben.

Beobachten Sie den Token-Zähler im Chat-Panel während der Eingabe – Sie werden sehen, dass er sich nicht um genau eins pro Wort erhöht.

Probier es selbst

Diese Lektion enthält keine Programmieraufgabe.