Wörter ≠ Tokens

Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy. Lektion 8 von 23.

Ein häufiger Fehler besteht darin, anzunehmen, dass ein Wort einem Token entspricht. So funktioniert es nicht.

Das Wort cat ist ein Token. Aber cats? Das könnten zwei Token sein: cat und s. Das Wort hello ist ein Token, aber Hello mit einem großen H könnte anders tokenisiert werden.

Leerzeichen, Satzzeichen und Groß- und Kleinschreibung beeinflussen, wie Text aufgeteilt wird.

Hier sind einige überraschende Beispiele:

Text	Ungefähre Tokenanzahl
`dog`	1
`dogs`	1-2
`extraordinary`	2-3
`123456`	2-3
`!!!`	1-3

Zahlen sind besonders knifflig. Du denkst vielleicht, dass 1000 ein Token ist, aber es könnte in 100 und 0 oder sogar Ziffer für Ziffer aufgeteilt werden. Deshalb tut sich KI manchmal mit präziser Mathematik schwer: Sie sieht Zahlen nicht so, wie du es tust.

Die zentrale Erkenntnis: Token-Anzahlen sind unvorhersehbar, wenn du einfach Wörter zählst. Ein Prompt mit 100 Wörtern kann je nach den konkreten Wörtern, die du ausgewählt hast, 130 oder 150 Token verwenden.

Beobachte beim Tippen den Token-Zähler im Chatfenster: Du wirst sehen, dass er nicht für jedes Wort genau um eins steigt.

Probier es selbst

Diese Lektion enthält keine Programmieraufgabe.