Что такое токены?
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 7 из 23.
ИИ разбивает ваш текст на более мелкие части, называемые токенами.
Представьте токены как базовую единицу чтения ИИ. Подобно тому, как вы разбиваете предложение на слова, ИИ разбивает текст на токены.
Но вот в чем загвоздка: токены — это не всегда целые слова. Токен может быть словом, частью слова или даже просто отдельным символом.
Например, слово hello обычно представляет собой один токен. Но более длинное слово, такое как uncomfortable, может быть разделено на несколько токенов: un, comfort, able. ИИ обрабатывает каждый токен отдельно, один за другим.
Задание
Добейтесь от ИИ ответа, состоящего ровно из 4 слов или меньше, где каждое слово состоит только из одного слога. Ответ должен быть законченной мыслью или утверждением.
Ответ ИИ должен:
- Содержать 4 слова (или меньше)
- Не содержать никаких знаков препинания, за исключением одной точки в конце
Начните это задание с ИИ-наставником Coddy
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите