Les tokens spéciaux que vous ne voyez jamais

Au-delà de votre texte et de l’invite système, l’IA utilise des jetons spéciaux : des marqueurs invisibles qui structurent la conversation. Ils ressemblent à <|user|>, <|assistant|> ou <|end|>, bien que le format exact varie selon le modèle.

Ces jetons indiquent où chaque message commence et se termine, et qui parle. Sans eux, le modèle ne saurait pas à qui revient le tour de parole. Vous ne les saisissez jamais et vous ne les voyez pas, mais ils occupent de l’espace dans la fenêtre de contexte.

C’est pourquoi même une conversation vide ne comporte pas zéro jeton, et pourquoi le nombre de jetons semble parfois légèrement supérieur à ce qui était prévu. Dans les longues conversations avec de nombreux échanges, ces marqueurs s’additionnent : chaque limite entre les messages nécessite son propre ensemble.

Vous n’avez pas besoin de gérer directement les jetons spéciaux. Mais savoir qu’ils existent aide à expliquer d’où viennent ces jetons « supplémentaires ».