Les tokens spéciaux que vous ne voyez jamais

Au-delà de votre texte et de l'invite système, l'IA utilise des jetons spéciaux — des marqueurs invisibles qui structurent la conversation. Ils ressemblent à quelque chose comme <|user|>, <|assistant|> ou <|end|>, bien que le format exact varie selon le modèle.

Ces jetons marquent le début et la fin de chaque message, ainsi que l'identité de l'interlocuteur. Sans eux, le modèle ne saurait pas à qui appartient le tour de parole. Vous ne les saisissez jamais et vous ne les voyez pas, mais ils occupent de l'espace dans la fenêtre de contexte.

C'est pourquoi même une conversation vide ne représente pas zéro jeton, et pourquoi le nombre de jetons semble parfois légèrement plus élevé que prévu. Dans les longues conversations avec de nombreux échanges, ces marqueurs s'accumulent — chaque limite de message nécessite son propre ensemble.

Vous n'avez pas besoin de gérer les jetons spéciaux directement. Mais savoir qu'ils existent aide à expliquer d'où proviennent ces jetons « supplémentaires ».