Tokens en otros idiomas
Parte de la sección Fundamentos del Journey de AI Prompts de Coddy — lección 11 de 23.
La mayoría de los modelos de IA se entrenaron principalmente con texto en inglés. Esto tiene una consecuencia sorprendente: los idiomas que no son el inglés suelen utilizar más tokens para el mismo significado.
La palabra hello en inglés es normalmente un token. Pero sus equivalentes en otros idiomas podrían dividirse de manera diferente:
| Idioma | Palabra | Tokens aproximados |
|---|---|---|
| Inglés | hello | 1 |
| Español | hola | 1 |
| Japonés | こんにちは | 3-5 |
| Árabe | مرحبا | 2-4 |
| Ruso | привет | 2-3 |
Los idiomas con escrituras no latinas —como el chino, el japonés, el coreano, el árabe o el hindi— tienden a utilizar significativamente más tokens. Una oración que ocupa 10 tokens en inglés podría requerir 20 o 30 tokens en japonés.
Esto es importante por razones prácticas. Si trabajas en un idioma que no sea el inglés, alcanzarás los límites de la ventana de contexto más rápido, las respuestas pueden costar más y la generación podría tardar un poco más. No es que la IA sea peor en estos idiomas; simplemente los procesa de manera menos eficiente a nivel de tokens.
Hoja de referencia
Los modelos de IA entrenados principalmente en texto en inglés utilizan los tokens de manera menos eficiente para los idiomas que no son inglés. Las escrituras no latinas (chino, japonés, coreano, árabe, hindi) suelen requerir significativamente más tokens para el mismo significado.
| Idioma | Palabra | Tokens aproximados |
|---|---|---|
| Inglés | hello | 1 |
| Español | hola | 1 |
| Japonés | こんにちは | 3-5 |
| Árabe | مرحبا | 2-4 |
| Ruso | привет | 2-3 |
Implicaciones prácticas: Los idiomas que no son inglés alcanzan los límites de la ventana de contexto más rápido, pueden costar más y tardar un poco más en generarse.
Pruébalo tú mismo
Esta lección no incluye un desafío de código.
Ponte a pruebaEsta lección incluye un breve cuestionario. Empieza la lección para responderlo y registrar tu progreso.
Todas las lecciones de Fundamentos
2Cómo te lee la IA — Tokens
¿Qué son los tokens?Palabras ≠ TokensPor qué importa el conteo de tokensLa ventana de contextoTokens en otros idiomasTokens especiales que nunca ves3Escribiendo tus primeros prompts
La IA habla Markdown (por defecto)Controlando el formato de salidaControlando el tono y el estiloCuando la IA te ignora