Mots ≠ tokens
Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 8 sur 23.
Une erreur fréquente consiste à supposer qu’un mot équivaut à un jeton. Ce n’est pas ainsi que cela fonctionne.
Le mot cat est un jeton. Mais cats ? Il pourrait s’agir de deux jetons : cat et s. Le mot hello est un jeton, mais Hello, avec un H majuscule, pourrait être découpé en jetons différemment.
Les espaces, la ponctuation et les majuscules influent tous sur la façon dont le texte est divisé.
Voici quelques exemples surprenants :
| Texte | Nombre approximatif de jetons |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
Les nombres sont particulièrement délicats. Tu pourrais penser que 1000 constitue un seul jeton, mais il pourrait être séparé en 100 et 0, ou même chiffre par chiffre. C’est pourquoi l’IA a parfois du mal à effectuer des calculs précis : elle ne voit pas les nombres comme toi.
L’idée essentielle : le nombre de jetons est imprévisible si tu te contentes de compter les mots. Une invite de 100 mots peut utiliser 130 jetons, ou 150, selon les mots que tu as choisis.
Après chaque réponse, le chat indique le nombre de jetons d’entrée et de sortie utilisés. Compare ces nombres au nombre de mots : ils correspondent rarement un à un.
Essayez vous-même
Cette leçon ne comprend pas de défi de code.
Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Principes fondamentaux
2Comment l’IA vous lit : les tokens
Que sont les tokens ?Mots ≠ tokensPourquoi le nombre de tokens compteLa fenêtre de contexteLes tokens dans d’autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore