Слова ≠ токены

Распространённая ошибка — считать, что одно слово равно одному токену. Это не так.

Слово cat — это один токен. А cats? Это могут быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной H может токенизироваться иначе.

Пробелы, знаки препинания и регистр букв влияют на то, как разбивается текст.

Вот несколько удивительных примеров:

Текст	Примерное количество токенов
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Числа особенно коварны. Вам может показаться, что 1000 — это один токен, но оно может разделиться на 100 и 0 или даже на отдельные цифры. Поэтому ИИ иногда испытывает трудности с точными вычислениями: он видит числа не так, как вы.

Ключевая идея: количество токенов непредсказуемо, если просто считать слова. В промпте из 100 слов может быть 130 или 150 токенов — в зависимости от конкретных слов, которые вы выбрали.

После каждого ответа в чате показывается, сколько входных и выходных токенов было использовано. Сравните эти числа с количеством слов: они редко совпадают один к одному.