Menu
CoddyTech

Токены в других языках

Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 11 из 23.

Большинство моделей ИИ обучались преимущественно на английских текстах. Это имеет неожиданное следствие: для передачи того же смысла в языках, отличных от английского, часто требуется больше токенов.

Слово hello в английском языке обычно состоит из одного токена. Но его эквиваленты в других языках могут разбиваться по-разному:

ЯзыкСловоПримерное количество токенов
Englishhello1
Spanishhola2
Japaneseこんにちは1
Arabicمرحبا3-5
Russianпривет3-4

Даже очень распространённое слово, например こんにちは, может состоять всего из одного токена, потому что оно часто встречалось в тексте, на основе которого был создан токенизатор.

Языки с нелатинской письменностью, например китайский, японский, корейский, арабский или хинди, обычно требуют значительно больше токенов. Предложение, для которого в английском нужно 10 токенов, в японском может потребовать 20 или 30 токенов.

Это важно по практическим причинам. Если вы работаете на языке, отличном от английского, вы быстрее достигнете ограничений контекстного окна, ответы могут стоить дороже, а генерация может занимать немного больше времени. Само по себе использование большего количества токенов не ухудшает способность ИИ работать с языком, но модели, обученные преимущественно на английских текстах, часто дают менее качественные ответы на языках, которые реже встречались в их обучающих данных.

Попробуйте сами

В этом уроке нет задания по программированию.

quiz iconПроверьте себя

В этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.

Все уроки раздела Основы