Por que a contagem de Tokens importa

Tokens importam por três motivos

Custo. Serviços de IA cobram por token, com tokens de saída custando mais do que os de entrada. Um prompt prolixo que gera uma resposta longa custa mais do que um conciso.

Velocidade. A IA gera a saída um token por vez. Respostas mais curtas retornam mais rápido.

Limites de contexto. Cada modelo possui uma capacidade máxima de tokens por conversa (a janela de contexto). Prompts longos deixam menos espaço para respostas.

É por isso que a eficiência é importante. "Você pode, por favor, me ajudar explicando em detalhes qual é a capital da França?" (~20 tokens) obtém a mesma resposta que "Qual é a capital da França?" (~7 tokens) — com menor custo e maior velocidade.

Para referência, o GPT-4o custa cerca de $2,50/$10 por milhão de tokens de entrada/saída; o Claude Sonnet custa $3/$15. Um milhão de tokens equivale a aproximadamente 750.000 palavras, então mesmo o uso casual se acumula.