Токены в других языках

Часть раздела Основы путешествия по AI Prompts на Coddy. Урок 11 из 23.

Большинство моделей ИИ обучались преимущественно на текстах на английском языке. Это приводит к неожиданному следствию: для передачи того же смысла в языках, отличных от английского, часто используется больше токенов.

Слово hello в английском языке обычно является одним токеном. Но его эквиваленты в других языках могут разбиваться иначе:

Язык	Слово	Примерное количество токенов
Английский	`hello`	1
Испанский	`hola`	1
Японский	`こんにちは`	3-5
Арабский	`مرحبا`	2-4
Русский	`привет`	2-3

Языки с нелатинскими письменностями, такие как китайский, японский, корейский, арабский или хинди, как правило, используют значительно больше токенов. Предложение, для которого в английском требуется 10 токенов, в японском может потребовать 20 или 30 токенов.

Это важно по практическим причинам. Если ты работаешь на языке, отличном от английского, ты быстрее столкнёшься с ограничениями контекстного окна, ответы могут стоить дороже, а генерация может занять немного больше времени. Дело не в том, что ИИ хуже работает с этими языками. Он просто менее эффективно обрабатывает их на уровне токенов.

Попробуйте сами

В этом уроке нет задания по программированию.