Слова ≠ Токены

Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 8 из 23.

Распространённая ошибка — считать, что одно слово равно одному токену. Это работает не так.

Слово cat — это один токен. А cats? Это могут быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной буквой H может быть токенизировано иначе.

Пробелы, знаки препинания и регистр букв — всё это влияет на то, как разделяется текст.

Вот несколько удивительных примеров:

Текст	Приблизительное количество токенов
`dog`	1
`dogs`	1-2
`extraordinary`	2-3
`123456`	2-3
`!!!`	1-3

Числа особенно сложны. Вам может показаться, что 1000 — это один токен, но оно может быть разделено на 100 и 0 или даже на отдельные цифры. Поэтому AI иногда испытывает трудности с точными математическими вычислениями: он видит числа не так, как вы.

Ключевая идея: количество токенов непредсказуемо, если просто считать слова. В подсказке из 100 слов может быть 130 или 150 токенов — в зависимости от конкретных выбранных вами слов.

Следите за счётчиком токенов на панели чата во время ввода: вы увидите, что он увеличивается не ровно на один токен за каждое слово.

Попробуйте сами

В этом уроке нет задания по программированию.