Wörter ≠ Tokens

Ein häufiger Fehler ist die Annahme, dass ein Wort einem Token entspricht. So funktioniert es nicht.

Das Wort cat ist ein Token. Aber cats? Das könnten zwei Token sein: cat und s. Das Wort hello ist ein Token, aber Hello mit einem großen H könnte anders tokenisiert werden.

Leerzeichen, Satzzeichen und Groß- und Kleinschreibung beeinflussen, wie Text aufgeteilt wird.

Hier sind einige überraschende Beispiele:

Text	Ungefähre Anzahl an Tokens
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Zahlen sind besonders knifflig. Du denkst vielleicht, dass 1000 ein Token ist, aber es könnte in 100 und 0 oder sogar Ziffer für Ziffer aufgeteilt werden. Deshalb hat KI manchmal Schwierigkeiten mit präziser Mathematik: Sie sieht Zahlen nicht so, wie du sie siehst.

Die entscheidende Erkenntnis: Tokenanzahlen sind unvorhersehbar, wenn du einfach nur Wörter zählst. Eine Eingabeaufforderung mit 100 Wörtern kann 130 oder 150 Tokens umfassen, abhängig von den konkreten Wörtern, die du gewählt hast.

Nach jeder Antwort zeigt der Chat an, wie viele Eingabe- und Ausgabetoken verwendet wurden. Vergleiche diese Zahlen mit der Anzahl der Wörter: Sie stimmen nur selten eins zu eins überein.