Por que a contagem de Tokens importa

Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 9 de 23.

Os tokens são importantes por três motivos

Custo. Os serviços de IA cobram por token, sendo que os tokens de saída custam mais do que os de entrada. Um prompt prolixo que gera uma resposta longa custa mais do que um conciso.

Velocidade. A IA gera a saída um token por vez. Respostas mais curtas chegam mais rápido.

Limites de contexto. Todo modelo tem uma capacidade máxima de tokens por conversa (a janela de contexto). Prompts longos deixam menos espaço para respostas.

É por isso que a eficiência importa. "Você pode me ajudar explicando detalhadamente qual é a capital da França?" (~20 tokens) obtém a mesma resposta que "Qual é a capital da França?" (~7 tokens), com menor custo e maior velocidade.

Para referência, o GPT-4o custa cerca de US$ 2,50/US$ 10 por milhão de tokens de entrada/saída; o Claude Sonnet custa US$ 3/US$ 15. Um milhão de tokens corresponde aproximadamente a 750.000 palavras, então até mesmo o uso casual se acumula.

Experimente você mesmo

Esta lição não inclui um desafio de código.