Слова ≠ Токены

Часть раздела Основы путешествия по AI Prompts на Coddy — урок 8 из 23.

Распространенная ошибка — полагать, что одно слово равно одному токену. Это работает не так.

Слово cat — это один токен. А cats? Это может быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной буквы H может быть токенизировано иначе.

Пробелы, знаки препинания и регистр символов — всё это влияет на то, как разбивается текст.

Вот несколько удивительных примеров:

Текст	Приблизительное количество токенов
`dog`	1
`dogs`	1-2
`extraordinary`	2-3
`123456`	2-3
`!!!`	1-3

С числами всё особенно непросто. Вы можете подумать, что 1000 — это один токен, но он может быть разделен на 100 и 0 или даже по цифрам. Вот почему ИИ иногда испытывает трудности с точными математическими вычислениями — он видит числа не так, как вы.

Ключевой вывод: количество токенов непредсказуемо, если вы просто считаете слова. Промпт из 100 слов может использовать 130 токенов или 150, в зависимости от конкретных слов, которые вы выбрали.

Следите за счетчиком токенов в панели чата по мере ввода текста — вы заметите, что он увеличивается не ровно на единицу за каждое слово.

Попробуйте сами

В этом уроке нет задания по программированию.