Почему важно количество токенов
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 9 из 23.
Токены важны по трем причинам
Стоимость. Сервисы ИИ взимают плату за каждый токен, при этом выходные токены стоят дороже входных. Многословный промпт, генерирующий длинный ответ, стоит дороже, чем лаконичный.
Скорость. ИИ генерирует ответ по одному токену за раз. Короткие ответы приходят быстрее.
Ограничения контекста. У каждой модели есть максимальный лимит токенов на один диалог (окно контекста). Длинные промпты оставляют меньше места для ответов.
Вот почему важна эффективность. «Не могли бы вы помочь мне, подробно объяснив, какой город является столицей Франции?» (~20 токенов) дает тот же результат, что и «Какая столица у Франции?» (~7 токенов) — при меньших затратах и более высокой скорости.
Для справки: GPT-4o стоит около $2.50/$10 за миллион входных/выходных токенов; Claude Sonnet стоит $3/$15. Миллион токенов — это примерно 750 000 слов, так что даже при обычном использовании расходы накапливаются.
Шпаргалка
Токены влияют на три ключевых аспекта использования ИИ:
Стоимость: Сервисы ИИ взимают плату за каждый токен, при этом выходные токены стоят дороже входных.
Скорость: ИИ генерирует ответ по одному токену за раз, поэтому короткие ответы приходят быстрее.
Лимиты контекста: Модели имеют максимальную емкость токенов на один диалог (окно контекста). Длинные промпты оставляют меньше места для ответов.
Эффективные промпты снижают затраты и повышают скорость. Например:
- "Не могли бы вы помочь мне, подробно объяснив, какой город является столицей Франции?" (~20 токенов)
- "Какая столица у Франции?" (~7 токенов)
Оба варианта дают одинаковый ответ, но второй более эффективен.
Справочная информация по ценам: GPT-4o стоит ~$2.50/$10 за миллион входных/выходных токенов; Claude Sonnet стоит ~$3/$15. Миллион токенов ≈ 750 000 слов.
Попробуйте сами
В этом уроке нет задания по программированию.
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите