Palavras ≠ Tokens

Um erro comum é assumir que uma palavra equivale a um token. Não funciona dessa forma.

A palavra cat é um token. Mas cats? Isso pode ser dois tokens: cat e s. A palavra hello é um token, mas Hello com um H maiúsculo pode ser tokenizada de forma diferente.

Espaços, pontuação e capitalização afetam a forma como o texto é dividido.

Aqui estão alguns exemplos surpreendentes:

Texto	Tokens Aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Números são especialmente complicados. Você pode pensar que 1000 é um único token, mas ele pode ser dividido em 100 e 0, ou até mesmo dígito por dígito. É por isso que a IA às vezes tem dificuldade com matemática precisa — ela não vê os números da mesma forma que você.

O insight fundamental: as contagens de tokens são imprevisíveis se você estiver apenas contando palavras. Um prompt de 100 palavras pode usar 130 tokens, ou 150, dependendo das palavras específicas que você escolheu.

Observe o contador de tokens no painel de chat enquanto você digita — você verá que ele não aumenta exatamente um por palavra.