Слова ≠ токены
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 8 из 23.
Распространённая ошибка — считать, что одному слову соответствует один токен. Это не так.
Слово cat — это один токен. А cats? Это могут быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной H может токенизироваться иначе.
Пробелы, знаки препинания и регистр букв — всё это влияет на то, как разбивается текст.
Вот несколько неожиданных примеров:
| Текст | Примерное количество токенов |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
Числа особенно коварны. Ты можешь думать, что 1000 — это один токен, но его могут разделить на 100 и 0 или даже на отдельные цифры. Именно поэтому ИИ иногда испытывает трудности с точными вычислениями: он воспринимает числа не так, как ты.
Ключевой вывод: количество токенов непредсказуемо, если просто считать слова. В запросе из 100 слов может быть 130 или 150 токенов — в зависимости от выбранных слов.
После каждого ответа в чате отображается, сколько входных и выходных токенов было использовано. Сравни эти значения с количеством слов: они редко совпадают один к одному.
Попробуйте сами
В этом уроке нет задания по программированию.
В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас: токены
Что такое токены?Слова ≠ токеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которых вы не видите