Что такое токены?
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 7 из 23.
ИИ разбивает ваш текст на более мелкие фрагменты, которые называются токенами.
Представьте себе токены как базовую единицу чтения ИИ. Точно так же, как вы разбиваете предложение на слова, ИИ разбивает текст на токены.
Но вот в чём подвох: токены не всегда являются целыми словами. Токен может быть словом, частью слова или даже просто отдельным символом.
Например, слово hello обычно является одним токеном. Но более длинное слово, такое как uncomfortable, может быть разбито на несколько токенов: un, comfort, able. ИИ обрабатывает каждый токен отдельно, один за другим.
Задание
Сделайте так, чтобы ИИ ответил ровно 4 словами или менее, где каждое слово состоит только из одного слога. Ответ должен представлять собой законченную мысль или утверждение.
Ответ ИИ должен:
- Содержать 4 слова (или менее)
- Не содержать никаких знаков препинания, за исключением одной точки в конце
Начните это задание с ИИ-наставником Coddy
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите