Tokens especiais que você nunca vê

Além do seu texto e do prompt do sistema, a IA usa tokens especiais — marcadores invisíveis que estruturam a conversa. Eles se parecem com algo como <|user|>, <|assistant|> ou <|end|>, embora o formato exato varie de acordo com o modelo.

Estes tokens marcam onde cada mensagem começa e termina, e quem está falando. Sem eles, o modelo não saberia de quem é a vez. Você nunca os digita e não os vê, mas eles consomem espaço na janela de contexto.

É por isso que mesmo uma conversa vazia não tem zero tokens, e por que as contagens de tokens às vezes parecem um pouco mais altas do que o esperado. Em conversas longas de ida e volta, esses marcadores se acumulam — cada limite de mensagem requer seu próprio conjunto.

Você não precisa gerenciar tokens especiais diretamente. Mas saber que eles existem ajuda a explicar de onde vêm esses tokens "extras".