Почему важно количество токенов

Токены важны по трем причинам

Стоимость. Сервисы ИИ взимают плату за каждый токен, при этом выходные токены стоят дороже входных. Многословный промпт, генерирующий длинный ответ, стоит дороже, чем лаконичный.

Скорость. ИИ генерирует ответ по одному токену за раз. Короткие ответы приходят быстрее.

Ограничения контекста. У каждой модели есть максимальный лимит токенов на один диалог (окно контекста). Длинные промпты оставляют меньше места для ответов.

Вот почему важна эффективность. «Не могли бы вы помочь мне, подробно объяснив, какой город является столицей Франции?» (~20 токенов) дает тот же результат, что и «Какая столица у Франции?» (~7 токенов) — при меньших затратах и более высокой скорости.

Для справки: GPT-4o стоит около $2.50/$10 за миллион входных/выходных токенов; Claude Sonnet стоит $3/$15. Миллион токенов — это примерно 750 000 слов, так что даже при обычном использовании расходы накапливаются.