Слова ≠ Токены
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 8 из 23.
Распространенная ошибка — полагать, что одно слово равно одному токену. Это работает не так.
Слово cat — это один токен. А cats? Это может быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной буквы H может быть токенизировано иначе.
Пробелы, знаки препинания и регистр символов — всё это влияет на то, как разбивается текст.
Вот несколько удивительных примеров:
| Текст | Приблизительное количество токенов |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
С числами всё особенно непросто. Вы можете подумать, что 1000 — это один токен, но он может быть разделен на 100 и 0 или даже по цифрам. Вот почему ИИ иногда испытывает трудности с точными математическими вычислениями — он видит числа не так, как вы.
Ключевой вывод: количество токенов непредсказуемо, если вы просто считаете слова. Промпт из 100 слов может использовать 130 токенов или 150, в зависимости от конкретных слов, которые вы выбрали.
Следите за счетчиком токенов в панели чата по мере ввода текста — вы заметите, что он увеличивается не ровно на единицу за каждое слово.
Шпаргалка
Токены — это не то же самое, что слова. На токенизацию влияют пробелы, пунктуация и использование заглавных букв.
Примеры того, как текст разбивается на токены:
| Текст | Примерное количество токенов |
|---|---|
cat | 1 |
cats | 1-2 (может быть разделено на cat и s) |
hello vs Hello | Могут токенизироваться по-разному из-за регистра |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Числа могут разделяться непредсказуемо (например, 1000 может превратиться в 100 и 0 или разделиться по цифрам), поэтому ИИ иногда испытывает трудности с точными математическими вычислениями.
Ключевой вывод: Количество токенов непредсказуемо при подсчете слов. Промпт из 100 слов может занять 130–150 токенов в зависимости от выбранных слов.
Попробуйте сами
В этом уроке нет задания по программированию.
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите