Les tokens spéciaux que vous ne voyez jamais

Fait partie de la section Fondamentaux du Journey AI Prompts de Coddy — leçon 12 sur 23.

Au-delà de votre texte et de l'invite système, l'IA utilise des jetons spéciaux — des marqueurs invisibles qui structurent la conversation. Ils ressemblent à quelque chose comme <|user|>, <|assistant|> ou <|end|>, bien que le format exact varie selon le modèle.

Ces jetons marquent le début et la fin de chaque message, ainsi que l'identité de l'interlocuteur. Sans eux, le modèle ne saurait pas à qui appartient le tour de parole. Vous ne les saisissez jamais et vous ne les voyez pas, mais ils occupent de l'espace dans la fenêtre de contexte.

C'est pourquoi même une conversation vide ne représente pas zéro jeton, et pourquoi le nombre de jetons semble parfois légèrement plus élevé que prévu. Dans les longues conversations avec de nombreux échanges, ces marqueurs s'accumulent — chaque limite de message nécessite son propre ensemble.

Vous n'avez pas besoin de gérer les jetons spéciaux directement. Mais savoir qu'ils existent aide à expliquer d'où proviennent ces jetons « supplémentaires ».

Aide-mémoire

Les conversations d'IA utilisent des jetons spéciaux — des marqueurs invisibles qui structurent la conversation, tels que <|user|>, <|assistant|>, ou <|end|>.

Ces jetons marquent les limites des messages et identifient les interlocuteurs. Ils consomment de l'espace dans la fenêtre de contexte, c'est pourquoi :