Palabras ≠ Tokens

Un error común es asumir que una palabra equivale a un token. No funciona de esa manera.

La palabra cat es un token. ¿Pero cats? Eso podrían ser dos tokens: cat y s. La palabra hello es un token, pero Hello con una H mayúscula podría tokenizarse de manera diferente.

Los espacios, la puntuación y el uso de mayúsculas afectan la forma en que se divide el texto.

Aquí hay algunos ejemplos sorprendentes:

Texto	Tokens aproximados
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Los números son especialmente complicados. Podrías pensar que 1000 es un solo token, pero podría dividirse en 100 y 0, o incluso dígito por dígito. Esta es la razón por la que la IA a veces tiene dificultades con las matemáticas precisas: no ve los números de la misma manera que tú.

La idea clave: el recuento de tokens es impredecible si solo estás contando palabras. Un prompt de 100 palabras podría usar 130 tokens, o 150, dependiendo de las palabras específicas que elijas.

Observa el contador de tokens en el panel de chat mientras escribes—verás que no aumenta exactamente en uno por palabra.