Spezielle Tokens, die man nie sieht
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy — Lektion 12 von 23.
Über Ihren Text und den System-Prompt hinaus verwendet die KI spezielle Token – unsichtbare Markierungen, die die Konversation strukturieren. Sie sehen in etwa so aus wie <|user|>, <|assistant|> oder <|end|>, obwohl das genaue Format je nach Modell variiert.
Diese Token markieren, wo jede Nachricht beginnt und endet und wer gerade spricht. Ohne sie wüsste das Modell nicht, wer an der Reihe ist. Sie geben diese niemals ein und sehen sie auch nicht, aber sie verbrauchen Platz im Kontextfenster.
Aus diesem Grund besteht selbst eine leere Konversation nicht aus null Token und weshalb die Token-Anzahl manchmal etwas höher erscheint als erwartet. In langen Hin-und-her-Konversationen summieren sich diese Marker – jede Nachrichtengrenze erfordert ihren eigenen Satz.
Sie müssen spezielle Token nicht direkt verwalten. Aber zu wissen, dass sie existieren, hilft zu erklären, woher diese „zusätzlichen“ Token kommen.
Spickzettel
KI-Konversationen verwenden Spezial-Token — unsichtbare Markierungen, die die Konversation strukturieren, wie zum Beispiel <|user|>, <|assistant|> oder <|end|>.
Diese Token markieren Nachrichtengrenzen und identifizieren Sprecher. Sie verbrauchen Platz im Kontextfenster, weshalb:
- Leere Konversationen nicht aus null Token bestehen
- Token-Zahlen höher erscheinen können als erwartet
- Lange Konversationen Overhead durch Nachrichtengrenzen anhäufen
Sie verwalten Spezial-Token nicht direkt, aber ihr Verständnis erklärt, woher „zusätzliche“ Token kommen.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Teste dich selbstDiese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie die KI dich liest – Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Token-Anzahl wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die man nie sieht3Deine ersten Prompts schreiben
KI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTonfall und Stil steuernWenn die KI dich ignoriert