Wörter ≠ Tokens
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy. Lektion 8 von 23.
Ein häufiger Fehler ist die Annahme, dass ein Wort einem Token entspricht. So funktioniert es nicht.
Das Wort cat ist ein Token. Aber cats? Das könnten zwei Token sein: cat und s. Das Wort hello ist ein Token, aber Hello mit großem H könnte anders tokenisiert werden.
Leerzeichen, Satzzeichen und Groß- und Kleinschreibung beeinflussen, wie Text aufgeteilt wird.
Hier sind einige überraschende Beispiele:
| Text | Ungefähre Anzahl an Tokens |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
Zahlen sind besonders knifflig. Du denkst vielleicht, 1000 sei ein Token, aber es könnte in 100 und 0 oder sogar Ziffer für Ziffer aufgeteilt werden. Deshalb hat KI manchmal Schwierigkeiten mit präziser Mathematik: Sie sieht Zahlen nicht so, wie du sie siehst.
Die entscheidende Erkenntnis: Token-Anzahlen sind unvorhersehbar, wenn du einfach nur Wörter zählst. Eine Eingabeaufforderung mit 100 Wörtern kann 130 oder 150 Token umfassen, je nachdem, welche Wörter du gewählt hast.
Nach jeder Antwort zeigt der Chat an, wie viele Eingabe- und Ausgabetokens verwendet wurden. Vergleiche diese Zahlen mit der Anzahl der Wörter: Sie stimmen nur selten eins zu eins überein.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Diese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie KI dich liest: Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Anzahl der Tokens wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die du nie siehst3Deine ersten Prompts schreiben
Die AI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTon und Stil steuernWenn die AI dich ignoriert