Токены в других языках
Часть раздела Основы путешествия по AI Prompts на Coddy — урок 11 из 23.
Большинство моделей ИИ обучались преимущественно на текстах на английском языке. Это приводит к неожиданному последствию: неанглийские языки часто используют больше токенов для передачи того же смысла.
Слово hello в английском языке обычно представляет собой один токен. Но его эквиваленты на других языках могут разделяться иначе:
| Язык | Слово | Примерное количество токенов |
|---|---|---|
| Английский | hello | 1 |
| Испанский | hola | 1 |
| Японский | こんにちは | 3-5 |
| Арабский | مرحبا | 2-4 |
| Русский | привет | 2-3 |
Языки с нелатинской письменностью — такие как китайский, японский, корейский, арабский или хинди — обычно используют значительно больше токенов. Предложение, которое занимает 10 токенов на английском языке, может потребовать 20 или 30 токенов на японском.
Это важно по практическим соображениям. Если вы работаете на языке, отличном от английского, вы быстрее достигнете лимитов окна контекста, ответы могут стоить дороже, а генерация может занять чуть больше времени. Дело не в том, что ИИ хуже справляется с этими языками — он просто обрабатывает их менее эффективно на уровне токенов.
Шпаргалка
Модели ИИ, обученные преимущественно на английских текстах, используют токены менее эффективно для других языков. Нелатинские письменности (китайская, японская, корейская, арабская, хинди) обычно требуют значительно больше токенов для передачи того же смысла.
| Язык | Слово | Примерное количество токенов |
|---|---|---|
| Английский | hello | 1 |
| Испанский | hola | 1 |
| Японский | こんにちは | 3-5 |
| Арабский | مرحبا | 2-4 |
| Русский | привет | 2-3 |
Практические последствия: Тексты на языках, отличных от английского, быстрее достигают лимитов контекстного окна, могут стоить дороже и генерироваться немного дольше.
Попробуйте сами
В этом уроке нет задания по программированию.
Проверьте себяВ этом уроке есть небольшой тест. Начните урок, чтобы ответить на вопросы и сохранить прогресс.
Все уроки раздела Основы
2Как ИИ читает вас — Токены
Что такое токены?Слова ≠ ТокеныПочему важно количество токеновКонтекстное окноТокены в других языкахСпециальные токены, которые вы никогда не видите