Tokens especiais que você nunca vê

Parte da seção Fundamentos do Journey de AI Prompts da Coddy — lição 12 de 23.

Além do seu texto e do prompt do sistema, a IA usa tokens especiais — marcadores invisíveis que estruturam a conversa. Eles se parecem com algo como <|user|>, <|assistant|> ou <|end|>, embora o formato exato varie de acordo com o modelo.

Estes tokens marcam onde cada mensagem começa e termina, e quem está falando. Sem eles, o modelo não saberia de quem é a vez. Você nunca os digita e não os vê, mas eles consomem espaço na janela de contexto.

É por isso que mesmo uma conversa vazia não tem zero tokens, e por que as contagens de tokens às vezes parecem um pouco mais altas do que o esperado. Em conversas longas de ida e volta, esses marcadores se acumulam — cada limite de mensagem requer seu próprio conjunto.

Você não precisa gerenciar tokens especiais diretamente. Mas saber que eles existem ajuda a explicar de onde vêm esses tokens "extras".

Folha de consulta

Conversas de IA usam tokens especiais — marcadores invisíveis que estruturam a conversa, como <|user|>, <|assistant|>, ou <|end|>.

Esses tokens marcam os limites das mensagens e identificam os interlocutores. Eles consomem espaço na janela de contexto, e é por isso que:

Conversas vazias não possuem zero tokens
A contagem de tokens pode parecer maior do que o esperado
Conversas longas acumulam sobrecarga (overhead) devido aos limites das mensagens

Você não gerencia tokens especiais diretamente, mas entendê-los explica de onde vêm os tokens "extras".

Experimente você mesmo

Esta lição não inclui um desafio de código.