Spezielle Tokens, die man nie sieht

Neben deinem Text und dem System-Prompt verwendet die KI spezielle Token: unsichtbare Markierungen, die die Unterhaltung strukturieren. Sie sehen ungefähr so aus wie <|user|>, <|assistant|> oder <|end|>, obwohl das genaue Format je nach Modell variiert.

Diese Token markieren, wo jede Nachricht beginnt und endet und wer spricht. Ohne sie wüsste das Modell nicht, wer an der Reihe ist. Du gibst sie nie ein und sie werden dir nicht angezeigt, aber sie verbrauchen Platz im Kontextfenster.

Deshalb besteht selbst eine leere Unterhaltung nicht aus null Token, und deshalb wirken Tokenanzahlen manchmal geringfügig höher als erwartet. In langen Gesprächen mit vielen Wechseln summieren sich diese Markierungen: Jede Nachrichtengrenze erfordert ihren eigenen Satz.

Du musst spezielle Token nicht direkt verwalten. Aber wenn du weißt, dass es sie gibt, kannst du besser verstehen, woher diese „zusätzlichen“ Token kommen.