Pourquoi le nombre de tokens est important

Les tokens comptent pour trois raisons

Coût. Les services d’IA facturent chaque jeton, les jetons de sortie coûtant plus cher que ceux d’entrée. Un prompt bavard générant une longue réponse coûte plus cher qu’un prompt concis.

Vitesse. L’IA génère la sortie un jeton à la fois. Les réponses plus courtes arrivent plus rapidement.

Limites de contexte. Chaque modèle possède une capacité maximale de jetons par conversation (la fenêtre de contexte). Les prompts longs laissent moins de place aux réponses.

C’est pourquoi l’efficacité est importante. « Peux-tu m’aider en m’expliquant en détail quelle est la capitale de la France ? » (~20 tokens) obtient la même réponse que « Quelle est la capitale de la France ? » (~7 tokens), à moindre coût et avec une vitesse supérieure.

À titre de référence, GPT-4o coûte environ 2,50 $ / 10 $ par million de jetons en entrée/sortie ; Claude Sonnet coûte 3 $ / 15 $. Un million de jetons représente environ 750 000 mots, donc même une utilisation occasionnelle finit par s’additionner.