Что такое токены?
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 7 из 23.
ИИ разбивает ваш текст на более мелкие части, называемые токенами.
Считайте токены базовой единицей чтения для ИИ. Подобно тому как вы можете разбить предложение на слова, ИИ разбивает текст на токены.
Но вот в чём особенность: токены не всегда являются целыми словами. Токеном может быть слово, часть слова или даже всего один символ.
Например, слово hello обычно является одним токеном. Но более длинное слово, такое как uncomfortable, может быть разделено на несколько токенов: un, comfort, able. ИИ обрабатывает каждый токен отдельно, один за другим.
Задание
Попросите ИИ ответить, используя не более 4 слов, каждое из которых содержит только один слог. Ответ должен представлять собой законченную мысль или утверждение.
Ответ ИИ должен:
- Содержать 4 слова или меньше
- Не содержать никаких знаков препинания, кроме одной точки в конце
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите