Palabras ≠ tokens

Un error común es suponer que una palabra equivale a un token. No funciona así.

La palabra cat es un token. Pero ¿cats? Podrían ser dos tokens: cat y s. La palabra hello es un token, pero Hello con H mayúscula podría tokenizarse de forma diferente.

Los espacios, la puntuación y las mayúsculas afectan a cómo se divide el texto.

Aquí tienes algunos ejemplos sorprendentes:

Texto	Tokens aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Los números son especialmente complicados. Podrías pensar que 1000 es un solo token, pero podría dividirse en 100 y 0, o incluso dígito por dígito. Por eso a veces la IA tiene dificultades con las matemáticas precisas: no ve los números de la misma manera que tú.

La idea clave: la cantidad de tokens es impredecible si solo cuentas palabras. Un prompt de 100 palabras podría usar 130 tokens o 150, según las palabras específicas que hayas elegido.

Después de cada respuesta, el chat muestra cuántos tokens de entrada y de salida utilizó. Compara esas cantidades con el número de palabras: rara vez coinciden uno a uno.