Palavras ≠ tokens

Um erro comum é presumir que uma palavra equivale a um token. Não é assim que funciona.

A palavra cat é um token. Mas cats? Isso pode ser dois tokens: cat e s. A palavra hello é um token, mas Hello com H maiúsculo pode ser tokenizada de forma diferente.

Espaços, pontuação e uso de maiúsculas e minúsculas afetam a forma como o texto é dividido.

Aqui estão alguns exemplos surpreendentes:

Texto	Tokens aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Números são especialmente complicados. Você pode pensar que 1000 é um único token, mas ele pode ser dividido em 100 e 0, ou até mesmo dígito por dígito. É por isso que às vezes a IA tem dificuldade com matemática precisa: ela não vê os números da mesma forma que você.

A principal conclusão: a quantidade de tokens é imprevisível se você estiver apenas contando palavras. Um prompt de 100 palavras pode usar 130 tokens ou 150, dependendo das palavras específicas que você escolheu.

Após cada resposta, o chat mostra quantos tokens de entrada e de saída foram usados. Compare essas contagens com o número de palavras: raramente há uma correspondência de um para um.