Les tokens dans d'autres langues
Fait partie de la section Fondamentaux du Journey AI Prompts de Coddy — leçon 11 sur 23.
La plupart des modèles d'IA ont été entraînés principalement sur des textes en anglais. Cela a une conséquence surprenante : les langues autres que l'anglais utilisent souvent plus de tokens pour la même signification.
Le mot hello en anglais est généralement un seul jeton (token). Mais ses équivalents dans d'autres langues pourraient être divisés différemment :
| Langue | Mot | Jetons approximatifs |
|---|---|---|
| Anglais | hello | 1 |
| Espagnol | hola | 1 |
| Japonais | こんにちは | 3-5 |
| Arabe | مرحبا | 2-4 |
| Russe | привет | 2-3 |
Les langues utilisant des scripts non latins — comme le chinois, le japonais, le coréen, l'arabe ou l'hindi — ont tendance à utiliser beaucoup plus de tokens. Une phrase qui utilise 10 tokens en anglais pourrait en nécessiter 20 ou 30 en japonais.
Cela importe pour des raisons pratiques. Si vous travaillez dans une langue autre que l'anglais, vous atteindrez les limites de la fenêtre de contexte plus rapidement, les réponses pourraient coûter plus cher et la génération pourrait prendre un peu plus de temps. Ce n'est pas que l'IA soit moins performante dans ces langues — elle les traite simplement de manière moins efficace au niveau des jetons.
Aide-mémoire
Les modèles d'IA entraînés principalement sur du texte en anglais utilisent les jetons (tokens) de manière moins efficace pour les langues autres que l'anglais. Les écritures non latines (chinois, japonais, coréen, arabe, hindi) nécessitent généralement beaucoup plus de jetons pour exprimer la même signification.
| Langue | Mot | Jetons approximatifs |
|---|---|---|
| Anglais | hello | 1 |
| Espagnol | hola | 1 |
| Japonais | こんにちは | 3-5 |
| Arabe | مرحبا | 2-4 |
| Russe | привет | 2-3 |
Implications pratiques : Les langues autres que l'anglais atteignent les limites de la fenêtre de contexte plus rapidement, peuvent coûter plus cher et prennent un peu plus de temps à être générées.
Essayez vous-même
Cette leçon ne comprend pas de défi de code.
Testez-vousCette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Fondamentaux
2Comment l'IA vous lit — Les Tokens
Qu'est-ce qu'un token ?Mots ≠ TokensPourquoi le nombre de tokens est importantLa fenêtre de contexteLes tokens dans d'autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore