Token speciali che non vedi mai

Oltre al tuo testo e al prompt di sistema, l’IA usa token speciali: marcatori invisibili che strutturano la conversazione. Hanno un aspetto simile a <|user|>, <|assistant|> o <|end|>, anche se il formato esatto varia a seconda del modello.

Questi token indicano dove inizia e finisce ciascun messaggio e chi sta parlando. Senza di essi, il modello non saprebbe di chi è il turno. Non li digiti mai e non li vedi, ma occupano spazio nella finestra di contesto.

Ecco perché anche una conversazione vuota non corrisponde a zero gettoni e perché il conteggio dei gettoni a volte sembra leggermente più alto del previsto. Nelle conversazioni lunghe e con molti scambi, questi marcatori si accumulano: ogni confine tra i messaggi richiede il proprio insieme.

Non devi gestire direttamente i token speciali. Ma sapere che esistono aiuta a spiegare da dove provengono quei token «extra».