Menu
CoddyTech

Mots ≠ tokens

Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 8 sur 23.

Une erreur fréquente consiste à supposer qu’un mot équivaut à un jeton. Ce n’est pas ainsi que cela fonctionne.

Le mot cat est un jeton. Mais cats ? Il pourrait s’agir de deux jetons : cat et s. Le mot hello est un jeton, mais Hello, avec un H majuscule, pourrait être découpé en jetons différemment.

Les espaces, la ponctuation et les majuscules influent tous sur la façon dont le texte est divisé.

Voici quelques exemples surprenants :

TexteNombre approximatif de jetons
dog1
dogs1-2
extraordinary2-3
1234562-6
!!!1-3

Les nombres sont particulièrement délicats. Tu pourrais penser que 1000 constitue un seul jeton, mais il pourrait être séparé en 100 et 0, ou même chiffre par chiffre. C’est pourquoi l’IA a parfois du mal à effectuer des calculs précis : elle ne voit pas les nombres comme toi.

L’idée essentielle : le nombre de jetons est imprévisible si tu te contentes de compter les mots. Une invite de 100 mots peut utiliser 130 jetons, ou 150, selon les mots que tu as choisis.

Après chaque réponse, le chat indique le nombre de jetons d’entrée et de sortie utilisés. Compare ces nombres au nombre de mots : ils correspondent rarement un à un.

Essayez vous-même

Cette leçon ne comprend pas de défi de code.

quiz iconTestez-vous

Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.

Toutes les leçons de Principes fondamentaux