Spezielle Tokens, die du nie siehst
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy. Lektion 12 von 23.
Neben deinem Text und dem System-Prompt verwendet die KI spezielle Token: unsichtbare Markierungen, die die Unterhaltung strukturieren. Sie sehen ungefähr so aus wie <|user|>, <|assistant|> oder <|end|>, obwohl das genaue Format je nach Modell variiert.
Diese Token markieren, wo jede Nachricht beginnt und endet und wer spricht. Ohne sie wüsste das Modell nicht, wer an der Reihe ist. Du gibst sie nie ein und sie werden dir nicht angezeigt, aber sie verbrauchen Platz im Kontextfenster.
Deshalb besteht selbst eine leere Unterhaltung nicht aus null Token, und deshalb wirken Tokenanzahlen manchmal geringfügig höher als erwartet. In langen Gesprächen mit vielen Wechseln summieren sich diese Markierungen: Jede Nachrichtengrenze erfordert ihren eigenen Satz.
Du musst spezielle Token nicht direkt verwalten. Aber wenn du weißt, dass es sie gibt, kannst du besser verstehen, woher diese „zusätzlichen“ Token kommen.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Diese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie KI dich liest: Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Anzahl der Tokens wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die du nie siehst3Deine ersten Prompts schreiben
Die AI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTon und Stil steuernWenn die AI dich ignoriert