Menu
CoddyTech

Les tokens dans d’autres langues

Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 11 sur 23.

La plupart des modèles d’IA ont été entraînés principalement sur des textes en anglais. Cela a une conséquence surprenante : les langues autres que l’anglais utilisent souvent davantage de jetons pour exprimer le même sens.

Le mot hello en anglais correspond généralement à un seul jeton. Mais ses équivalents dans d’autres langues peuvent être découpés différemment :

LangueMotNombre approximatif de jetons
Anglaishello1
Espagnolhola2
Japonaisこんにちは1
Arabeمرحبا3-5
Russeпривет3-4

Un mot très courant comme こんにちは peut tout de même correspondre à un seul jeton, car il apparaissait souvent dans les textes à partir desquels le tokenizer a été créé.

Les langues qui utilisent des systèmes d’écriture non latins, comme le chinois, le japonais, le coréen, l’arabe ou l’hindi, ont tendance à utiliser beaucoup plus de jetons. Une phrase qui nécessite 10 jetons en anglais peut en nécessiter 20 ou 30 en japonais.

C’est important pour des raisons pratiques. Si tu travailles dans une langue autre que l’anglais, tu atteindras plus rapidement les limites de la fenêtre de contexte, les réponses risquent de coûter plus cher et la génération peut prendre un peu plus de temps. L’utilisation d’un plus grand nombre de jetons ne rend pas à elle seule l’IA moins performante dans une langue, mais les modèles entraînés principalement sur des textes en anglais donnent souvent des réponses moins bonnes dans les langues qui étaient moins présentes dans leurs données d’entraînement.

Essayez vous-même

Cette leçon ne comprend pas de défi de code.

quiz iconTestez-vous

Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.

Toutes les leçons de Principes fondamentaux