Mots ≠ Tokens
Fait partie de la section Fondamentaux du Journey AI Prompts de Coddy — leçon 8 sur 23.
Une erreur courante consiste à supposer qu'un mot équivaut à un jeton. Cela ne fonctionne pas ainsi.
Le mot cat est un seul token. Mais cats ? Cela pourrait correspondre à deux tokens : cat et s. Le mot hello est un seul token, mais Hello avec un H majuscule pourrait être tokenisé différemment.
Les espaces, la ponctuation et la capitalisation affectent tous la manière dont le texte est divisé.
Voici quelques exemples surprenants :
| Texte | Jetons approximatifs |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Les nombres sont particulièrement délicats. Vous pourriez penser que 1000 est un seul jeton, mais il pourrait être divisé en 100 et 0, ou même chiffre par chiffre. C'est pourquoi l'IA a parfois du mal avec les mathématiques précises — elle ne voit pas les nombres de la même manière que vous.
L'idée clé : le nombre de tokens est imprévisible si vous vous contentez de compter les mots. Un prompt de 100 mots peut utiliser 130 tokens, ou 150, selon les mots spécifiques que vous avez choisis.
Surveillez le compteur de jetons dans le panneau de discussion pendant que vous tapez — vous verrez qu'il n'augmente pas d'exactement un par mot.
Aide-mémoire
Les tokens ne sont pas la même chose que les mots. La tokenisation est influencée par les espaces, la ponctuation et la capitalisation.
Exemples de la manière dont le texte est tokenisé :
| Texte | Nombre approximatif de tokens |
|---|---|
cat | 1 |
cats | 1-2 (peut être divisé en cat et s) |
hello vs Hello | Peut être tokenisé différemment en raison de la capitalisation |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Les nombres peuvent être divisés de manière imprévisible (par exemple, 1000 pourrait devenir 100 et 0, ou être divisé chiffre par chiffre), c'est pourquoi l'IA a parfois du mal avec les mathématiques précises.
Point clé : Le nombre de tokens est imprévisible lors du comptage des mots. Un prompt de 100 mots peut utiliser 130 à 150 tokens selon les mots spécifiques choisis.
Essayez vous-même
Cette leçon ne comprend pas de défi de code.
Testez-vousCette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Fondamentaux
2Comment l'IA vous lit — Les Tokens
Qu'est-ce qu'un token ?Mots ≠ TokensPourquoi le nombre de tokens est importantLa fenêtre de contexteLes tokens dans d'autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore