Что такое токены?
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 7 из 23.
ИИ разбивает ваш текст на более мелкие части, называемые токенами.
Представляй токены как базовую единицу чтения для ИИ. Подобно тому как ты можешь разбить предложение на слова, ИИ разбивает текст на токены.
Но вот в чём хитрость: токены — это не всегда целые слова. Токеном может быть слово, часть слова или даже всего один символ.
Например, слово hello обычно является одним токеном. Но более длинное слово, такое как uncomfortable, может быть разделено на несколько токенов: un, comfort, able. ИИ обрабатывает каждый токен отдельно, один за другим.
Задание
В каждом ответе в чате указано, сколько токенов было использовано. Найдите число выходных токенов под ответом ИИ.
Попросите ИИ ответить, используя не более 10 выходных токенов. Спрашивайте о чём угодно, но попросите ИИ ответить очень кратко.
Ответ ИИ должен:
- Содержать не более 10 выходных токенов
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас: токены
Что такое токены?Слова ≠ токеныПочему важно количество токеновКонтекстное окноТокены в других языкахСкрытые специальные токены