Palavras ≠ Tokens

Um erro comum é presumir que uma palavra equivale a um token. Não é assim que funciona.

A palavra cat é um token. Mas cats? Isso pode ser dois tokens: cat e s. A palavra hello é um token, mas Hello com H maiúsculo pode ser tokenizada de forma diferente.

Espaços, pontuação e letras maiúsculas e minúsculas afetam a forma como o texto é dividido.

Aqui estão alguns exemplos surpreendentes:

Texto	Tokens aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Números são especialmente complicados. Você pode pensar que 1000 é um token, mas ele pode ser dividido em 100 e 0, ou até mesmo dígito por dígito. É por isso que às vezes a IA tem dificuldade com matemática precisa: ela não está vendo os números da mesma forma que você.

A principal percepção: a contagem de tokens é imprevisível se você estiver apenas contando palavras. Um prompt de 100 palavras pode usar 130 tokens ou 150, dependendo das palavras específicas que você escolheu.

Observe o contador de tokens no painel de chat enquanto você digita: verá que ele não aumenta exatamente um por palavra.