Mots ≠ tokens

Une erreur fréquente consiste à supposer qu’un mot équivaut à un jeton. Ce n’est pas ainsi que cela fonctionne.

Le mot cat est un jeton. Mais cats ? Cela pourrait être deux jetons : cat et s. Le mot hello est un jeton, mais Hello avec un H majuscule pourrait être tokenisé différemment.

Les espaces, la ponctuation et les majuscules influencent tous la façon dont le texte est découpé.

Voici quelques exemples surprenants :

Texte	Nombre approximatif de jetons
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Les nombres sont particulièrement délicats. Tu pourrais penser que 1000 est un seul jeton, mais il pourrait être découpé en 100 et 0, ou même chiffre par chiffre. C’est pourquoi l’IA a parfois du mal avec les calculs précis : elle ne voit pas les nombres comme toi.

Le point essentiel : le nombre de jetons est imprévisible si tu te contentes de compter les mots. Une requête de 100 mots peut utiliser 130 jetons, ou 150, selon les mots précis que tu as choisis.

Après chaque réponse, le chat indique le nombre de jetons d’entrée et de sortie utilisés. Compare ces nombres au nombre de mots : ils correspondent rarement un à un.