Palavras ≠ Tokens
Parte da seção Fundamentos do Journey de AI Prompts da Coddy — lição 8 de 23.
Um erro comum é assumir que uma palavra equivale a um token. Não funciona dessa forma.
A palavra cat é um token. Mas cats? Isso pode ser dois tokens: cat e s. A palavra hello é um token, mas Hello com um H maiúsculo pode ser tokenizada de forma diferente.
Espaços, pontuação e capitalização afetam a forma como o texto é dividido.
Aqui estão alguns exemplos surpreendentes:
| Texto | Tokens Aproximados |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Números são especialmente complicados. Você pode pensar que 1000 é um único token, mas ele pode ser dividido em 100 e 0, ou até mesmo dígito por dígito. É por isso que a IA às vezes tem dificuldade com matemática precisa — ela não vê os números da mesma forma que você.
O insight fundamental: as contagens de tokens são imprevisíveis se você estiver apenas contando palavras. Um prompt de 100 palavras pode usar 130 tokens, ou 150, dependendo das palavras específicas que você escolheu.
Observe o contador de tokens no painel de chat enquanto você digita — você verá que ele não aumenta exatamente um por palavra.
Folha de consulta
Tokens não são o mesmo que palavras. A tokenização é afetada por espaços, pontuação e capitalização.
Exemplos de como o texto é tokenizado:
| Texto | Tokens Aproximados |
|---|---|
cat | 1 |
cats | 1-2 (pode ser dividido em cat e s) |
hello vs Hello | Pode tokenizar de forma diferente devido à capitalização |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Números podem ser divididos de forma imprevisível (ex: 1000 pode se tornar 100 e 0, ou ser dividido dígito por dígito), e é por isso que a IA às vezes tem dificuldade com matemática precisa.
Insight principal: A contagem de tokens é imprevisível ao contar palavras. Um prompt de 100 palavras pode usar de 130 a 150 tokens, dependendo das palavras específicas escolhidas.
Experimente você mesmo
Esta lição não inclui um desafio de código.
Teste seus conhecimentosEsta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Fundamentos
2Como a IA lê você — Tokens
O que são Tokens?Palavras ≠ TokensPor que a contagem de Tokens importaA Janela de ContextoTokens em outros idiomasTokens especiais que você nunca vê3Escrevendo Seus Primeiros Prompts
A IA fala Markdown (por padrão)Controlando o Formato de SaídaControlando Tom e EstiloQuando a IA ignora você