Токены в других языках
Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 11 из 23.
Большинство моделей ИИ обучались преимущественно на английских текстах. Это имеет неожиданное следствие: для передачи того же смысла в языках, отличных от английского, часто требуется больше токенов.
Слово hello в английском языке обычно состоит из одного токена. Но его эквиваленты в других языках могут разбиваться по-разному:
| Язык | Слово | Примерное количество токенов |
|---|---|---|
| English | hello | 1 |
| Spanish | hola | 2 |
| Japanese | こんにちは | 1 |
| Arabic | مرحبا | 3-5 |
| Russian | привет | 3-4 |
Даже очень распространённое слово, например こんにちは, может состоять всего из одного токена, потому что оно часто встречалось в тексте, на основе которого был создан токенизатор.
Языки с нелатинской письменностью, например китайский, японский, корейский, арабский или хинди, обычно требуют значительно больше токенов. Предложение, для которого в английском нужно 10 токенов, в японском может потребовать 20 или 30 токенов.
Это важно по практическим причинам. Если вы работаете на языке, отличном от английского, вы быстрее достигнете ограничений контекстного окна, ответы могут стоить дороже, а генерация может занимать немного больше времени. Само по себе использование большего количества токенов не ухудшает способность ИИ работать с языком, но модели, обученные преимущественно на английских текстах, часто дают менее качественные ответы на языках, которые реже встречались в их обучающих данных.
Попробуйте сами
В этом уроке нет задания по программированию.
В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас: токены
Что такое токены?Слова ≠ токеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которых вы не видите