Les tokens dans d’autres langues
Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 11 sur 23.
La plupart des modèles d’IA ont été entraînés principalement sur des textes en anglais. Cela a une conséquence surprenante : les langues autres que l’anglais utilisent souvent davantage de jetons pour exprimer le même sens.
Le mot hello en anglais correspond généralement à un seul jeton. Mais ses équivalents dans d’autres langues peuvent être découpés différemment :
| Langue | Mot | Nombre approximatif de jetons |
|---|---|---|
| Anglais | hello | 1 |
| Espagnol | hola | 2 |
| Japonais | こんにちは | 1 |
| Arabe | مرحبا | 3-5 |
| Russe | привет | 3-4 |
Un mot très courant comme こんにちは peut tout de même correspondre à un seul jeton, car il apparaissait souvent dans les textes à partir desquels le tokenizer a été créé.
Les langues qui utilisent des systèmes d’écriture non latins, comme le chinois, le japonais, le coréen, l’arabe ou l’hindi, ont tendance à utiliser beaucoup plus de jetons. Une phrase qui nécessite 10 jetons en anglais peut en nécessiter 20 ou 30 en japonais.
C’est important pour des raisons pratiques. Si tu travailles dans une langue autre que l’anglais, tu atteindras plus rapidement les limites de la fenêtre de contexte, les réponses risquent de coûter plus cher et la génération peut prendre un peu plus de temps. L’utilisation d’un plus grand nombre de jetons ne rend pas à elle seule l’IA moins performante dans une langue, mais les modèles entraînés principalement sur des textes en anglais donnent souvent des réponses moins bonnes dans les langues qui étaient moins présentes dans leurs données d’entraînement.
Essayez vous-même
Cette leçon ne comprend pas de défi de code.
Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Principes fondamentaux
2Comment l’IA vous lit : les tokens
Que sont les tokens ?Mots ≠ tokensPourquoi le nombre de tokens compteLa fenêtre de contexteLes tokens dans d’autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore