Palabras ≠ Tokens

Un error común es suponer que una palabra equivale a un token. No funciona así.

La palabra cat es un token. Pero ¿cats? Podrían ser dos tokens: cat y s. La palabra hello es un token, pero Hello con una H mayúscula podría tokenizarse de manera diferente.

Los espacios, la puntuación y las mayúsculas afectan a cómo se divide el texto.

Aquí tienes algunos ejemplos sorprendentes:

Texto	Tokens aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Los números son especialmente complicados. Podrías pensar que 1000 es un solo token, pero podría dividirse en 100 y 0, o incluso dígito por dígito. Por eso a veces la IA tiene dificultades con las matemáticas precisas: no ve los números de la misma manera que tú.

La idea clave: los recuentos de tokens son impredecibles si simplemente estás contando palabras. Un prompt de 100 palabras podría usar 130 tokens o 150, según las palabras específicas que hayas elegido.

Observa el contador de tokens en el panel de chat mientras escribes: verás que no aumenta exactamente en uno por cada palabra.