Специальные токены, которые вы никогда не видите

Помимо вашего текста и системного промпта, ИИ использует специальные токены: невидимые маркеры, которые структурируют разговор. Они выглядят примерно как <|user|>, <|assistant|> или <|end|>, хотя точный формат зависит от модели.

Эти токены отмечают начало и конец каждого сообщения, а также то, кто говорит. Без них модель не знала бы, чья сейчас очередь. Ты никогда не вводишь их и не видишь их, но они занимают место в контекстном окне.

Вот почему даже пустой разговор — это не ноль токенов и почему количество токенов иногда кажется немного больше ожидаемого. В длинных разговорах туда и обратно эти маркеры накапливаются: для каждой границы сообщения требуется собственный набор.

Вам не нужно напрямую управлять специальными токенами. Но знание о том, что они существуют, помогает объяснить, откуда берутся эти «дополнительные» токены.