Palabras ≠ Tokens
Parte de la sección Fundamentos del Journey de AI Prompts de Coddy — lección 8 de 23.
Un error común es asumir que una palabra equivale a un token. No funciona de esa manera.
La palabra cat es un token. ¿Pero cats? Eso podrían ser dos tokens: cat y s. La palabra hello es un token, pero Hello con una H mayúscula podría tokenizarse de manera diferente.
Los espacios, la puntuación y el uso de mayúsculas afectan la forma en que se divide el texto.
Aquí hay algunos ejemplos sorprendentes:
| Texto | Tokens aproximados |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Los números son especialmente complicados. Podrías pensar que 1000 es un solo token, pero podría dividirse en 100 y 0, o incluso dígito por dígito. Esta es la razón por la que la IA a veces tiene dificultades con las matemáticas precisas: no ve los números de la misma manera que tú.
La idea clave: el recuento de tokens es impredecible si solo estás contando palabras. Un prompt de 100 palabras podría usar 130 tokens, o 150, dependiendo de las palabras específicas que elijas.
Observa el contador de tokens en el panel de chat mientras escribes—verás que no aumenta exactamente en uno por palabra.
Hoja de referencia
Los tokens no son lo mismo que las palabras. La tokenización se ve afectada por los espacios, la puntuación y las mayúsculas.
Ejemplos de cómo se tokeniza el texto:
| Texto | Tokens aproximados |
|---|---|
cat | 1 |
cats | 1-2 (puede dividirse en cat y s) |
hello frente a Hello | Puede tokenizarse de forma diferente debido a las mayúsculas |
extraordinary | 2-3 |
123456 | 2-3 |
!!! | 1-3 |
Los números pueden dividirse de forma impredecible (por ejemplo, 1000 podría convertirse en 100 y 0, o dividirse dígito por dígito), razón por la cual la IA a veces tiene dificultades con las matemáticas precisas.
Idea clave: El recuento de tokens es impredecible al contar palabras. Un prompt de 100 palabras puede utilizar entre 130 y 150 tokens, dependiendo de las palabras específicas elegidas.
Pruébalo tú mismo
Esta lección no incluye un desafío de código.
Ponte a pruebaEsta lección incluye un breve cuestionario. Empieza la lección para responderlo y registrar tu progreso.
Todas las lecciones de Fundamentos
2Cómo te lee la IA — Tokens
¿Qué son los tokens?Palabras ≠ TokensPor qué importa el conteo de tokensLa ventana de contextoTokens en otros idiomasTokens especiales que nunca ves3Escribiendo tus primeros prompts
La IA habla Markdown (por defecto)Controlando el formato de salidaControlando el tono y el estiloCuando la IA te ignora