Mots ≠ Tokens

Une erreur fréquente consiste à supposer qu’un mot équivaut à un jeton. Ce n’est pas comme ça que cela fonctionne.

Le mot cat est un jeton. Mais cats ? Il pourrait s’agir de deux jetons : cat et s. Le mot hello est un jeton, mais Hello avec un H majuscule pourrait être tokenisé différemment.

Les espaces, la ponctuation et la casse influencent tous la manière dont le texte est découpé.

Voici quelques exemples surprenants :

Texte	Nombre approximatif de tokens
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Les nombres sont particulièrement délicats. Tu pourrais penser que 1000 est un seul jeton, mais il pourrait être divisé en 100 et 0, voire chiffre par chiffre. C’est pourquoi l’IA a parfois du mal avec les calculs précis : elle ne voit pas les nombres comme toi.

L’idée clé : le nombre de tokens est imprévisible si vous vous contentez de compter les mots. Un prompt de 100 mots peut utiliser 130 tokens, ou 150, selon les mots précis que vous avez choisis.

Observez le compteur de jetons dans le panneau de discussion au fur et à mesure que vous tapez : vous verrez qu’il n’augmente pas exactement d’une unité par mot.