Menu
CoddyTech

Слова ≠ токены

Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 8 из 23.

Распространённая ошибка — считать, что одному слову соответствует один токен. Это не так.

Слово cat — это один токен. А cats? Это могут быть два токена: cat и s. Слово hello — это один токен, но Hello с заглавной H может токенизироваться иначе.

Пробелы, знаки препинания и регистр букв — всё это влияет на то, как разбивается текст.

Вот несколько неожиданных примеров:

ТекстПримерное количество токенов
dog1
dogs1-2
extraordinary2-3
1234562-6
!!!1-3

Числа особенно коварны. Ты можешь думать, что 1000 — это один токен, но его могут разделить на 100 и 0 или даже на отдельные цифры. Именно поэтому ИИ иногда испытывает трудности с точными вычислениями: он воспринимает числа не так, как ты.

Ключевой вывод: количество токенов непредсказуемо, если просто считать слова. В запросе из 100 слов может быть 130 или 150 токенов — в зависимости от выбранных слов.

После каждого ответа в чате отображается, сколько входных и выходных токенов было использовано. Сравни эти значения с количеством слов: они редко совпадают один к одному.

Попробуйте сами

В этом уроке нет задания по программированию.

quiz iconПроверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Все уроки раздела Основы