Wörter ≠ Tokens
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy — Lektion 8 von 23.
Ein häufiger Fehler ist die Annahme, dass ein Wort einem Token entspricht. So funktioniert das nicht.
Das Wort cat ist ein Token. Aber cats? Das könnten zwei Token sein: cat und s. Das Wort hello ist ein Token, aber Hello mit einem großen H könnte anders tokenisiert werden.
Leerzeichen, Interpunktion und Groß- und Kleinschreibung beeinflussen alle, wie Text aufgeteilt wird.
Hier sind einige überraschende Beispiele:
| Text | Ungefähre Token |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Zahlen sind besonders tückisch. Man könnte meinen, 1000 sei ein einzelner Token, aber es könnte in 100 und 0 oder sogar Ziffer für Ziffer aufgeteilt werden. Aus diesem Grund hat KI manchmal Schwierigkeiten mit präziser Mathematik – sie sieht Zahlen nicht so, wie Sie es tun.
Die entscheidende Erkenntnis: Token-Anzahlen sind unvorhersehbar, wenn man nur Wörter zählt. Ein Prompt mit 100 Wörtern könnte 130 Token oder 150 verbrauchen, abhängig von den spezifischen Wörtern, die Sie gewählt haben.
Beobachten Sie den Token-Zähler im Chat-Panel während der Eingabe – Sie werden sehen, dass er sich nicht um genau eins pro Wort erhöht.
Spickzettel
Token sind nicht dasselbe wie Wörter. Die Tokenisierung wird durch Leerzeichen, Satzzeichen und Groß- und Kleinschreibung beeinflusst.
Beispiele dafür, wie Text tokenisiert wird:
| Text | Ungefähre Token |
|---|---|
cat | 1 |
cats | 1-2 (kann in cat und s aufgeteilt werden) |
hello vs Hello | Können aufgrund der Großschreibung unterschiedlich tokenisiert werden |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Zahlen können unvorhersehbar aufgeteilt werden (z. B. könnte 1000 zu 100 und 0 werden oder Ziffer für Ziffer aufgeteilt werden), weshalb KI manchmal Schwierigkeiten mit präziser Mathematik hat.
Wichtige Erkenntnis: Die Anzahl der Token ist beim Zählen von Wörtern unvorhersehbar. Ein Prompt mit 100 Wörtern kann je nach den gewählten Wörtern 130–150 Token verbrauchen.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Teste dich selbstDiese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie die KI dich liest – Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Token-Anzahl wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die man nie sieht3Deine ersten Prompts schreiben
KI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTonfall und Stil steuernWenn die KI dich ignoriert