Что такое токены?
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 7 из 23.
ИИ разбивает ваш текст на более мелкие части, называемые токенами.
Представьте токены как базовую единицу чтения ИИ. Подобно тому, как вы разбиваете предложение на слова, ИИ разбивает текст на токены.
Но вот в чем загвоздка: токены — это не всегда целые слова. Токен может быть словом, частью слова или даже просто отдельным символом.
Например, слово hello обычно представляет собой один токен. Но более длинное слово, такое как uncomfortable, может быть разделено на несколько токенов: un, comfort, able. ИИ обрабатывает каждый токен отдельно, один за другим.
Задание
Добейтесь от ИИ ответа, состоящего ровно из 4 слов или меньше, где каждое слово состоит только из одного слога. Ответ должен быть законченной мыслью или утверждением.
Ответ ИИ должен:
- Содержать 4 слова (или меньше)
- Не содержать никаких знаков препинания, за исключением одной точки в конце
Шпаргалка
ИИ разбивает текст на более мелкие части, называемые токенами, которые являются базовой единицей чтения ИИ.
Токены не всегда являются целыми словами. Токен может быть:
- Целым словом (например,
hello) - Частью слова (например,
uncomfortableможет быть разделено наun,comfort,able) - Отдельным символом
ИИ обрабатывает каждый токен отдельно, один за другим.
Начните это задание с ИИ-наставником Coddy
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите