Por que a contagem de tokens importa
Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 9 de 23.
Os tokens são importantes por três motivos
Custo. Os serviços de IA cobram por token, e os tokens de saída custam mais do que os de entrada. Um prompt prolixo que gera uma resposta longa custa mais do que um prompt conciso.
Velocidade. A IA gera a saída um token de cada vez. Respostas mais curtas chegam mais rápido.
Limites de contexto. Cada modelo tem uma capacidade máxima de tokens por conversa (a janela de contexto). Prompts longos deixam menos espaço para as respostas.
É por isso que a eficiência importa. "Você poderia me ajudar explicando em detalhes qual é a capital da França?" (~20 tokens) recebe a mesma resposta que "Qual é a capital da França?" (~7 tokens), com custo menor e maior rapidez.
Para referência, o GPT-4o custa cerca de US$ 2,50/US$ 10 por milhão de tokens de entrada/saída; o Claude Sonnet custa US$ 3/US$ 15. Um milhão de tokens equivale a aproximadamente 750.000 palavras, então até mesmo o uso casual acaba pesando no bolso.
Experimente você mesmo
Esta lição não inclui um desafio de código.
Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Fundamentos
2Como a IA lê você: tokens
O que são tokens?Palavras ≠ tokensPor que a contagem de tokens importaA janela de contextoTokens em outros idiomasTokens especiais que você nunca vê3Escrevendo seus primeiros prompts
A IA fala em Markdown (por padrão)Controlando o formato da saídaControlando o tom e o estiloQuando a IA ignora você