Специальные токены, которые вы никогда не видите
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 12 из 23.
Помимо вашего текста и системного промпта, ИИ использует специальные токены — невидимые маркеры, которые структурируют диалог. Они выглядят примерно так: <|user|>, <|assistant|> или <|end|>, хотя точный формат зависит от модели.
Эти токены отмечают начало и конец каждого сообщения, а также то, кто говорит. Без них модель не знала бы, чья сейчас очередь. Вы никогда не вводите их и не видите их, но они занимают место в контекстном окне.
Вот почему даже пустой диалог не равен нулю токенов, и почему количество токенов иногда кажется немного выше, чем ожидалось. В длинных диалогах эти маркеры суммируются — для каждой границы сообщения требуется свой собственный набор.
Вам не нужно управлять специальными токенами напрямую. Но знание об их существовании помогает понять, откуда берутся эти «лишние» токены.
Шпаргалка
В беседах с ИИ используются специальные токены — невидимые маркеры, которые структурируют диалог, такие как <|user|>, <|assistant|> или <|end|>.
Эти токены отмечают границы сообщений и идентифицируют говорящих. Они занимают место в окне контекста, вот почему:
- Пустые беседы не равны нулю токенов
- Количество токенов может казаться выше ожидаемого
- Длинные беседы накапливают накладные расходы из-за границ сообщений
Вы не управляете специальными токенами напрямую, но понимание их работы объясняет, откуда берутся «лишние» токены.
Попробуйте сами
В этом уроке нет задания по программированию.
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите