Почему важно количество токенов

Токены важны по трём причинам

Стоимость. Сервисы AI взимают плату за каждый токен, причём выходные токены стоят дороже входных. Многословный промпт, создающий длинный ответ, стоит дороже, чем краткий.

Скорость. ИИ генерирует вывод по одному токену за раз. Более короткие ответы приходят быстрее.

Ограничения контекста. У каждой модели есть максимальная вместимость токенов на один разговор (контекстное окно). Длинные запросы оставляют меньше места для ответов.

Вот почему эффективность имеет значение. "Can ты please help мне, подробно explaining, what такое capital город of France?" (~20 токенов) получает тот же ответ, что и "Какова capital of France?" (~7 токенов), при меньшей стоимости и более высокой скорости.

Для справки: GPT-4o стоит около $2.50/$10 за миллион входных/выходных токенов; Claude Sonnet — $3/$15. Миллион токенов — это примерно 750 000 слов, поэтому даже нерегулярное использование в итоге обходится недёшево.