Tokens en otros idiomas
Parte de la sección Fundamentos del Journey de AI Prompts de Coddy. Lección 11 de 23.
La mayoría de los modelos de IA se entrenaron principalmente con texto en inglés. Esto tiene una consecuencia sorprendente: los idiomas distintos del inglés suelen usar más tokens para expresar el mismo significado.
La palabra hello en inglés suele ser un solo token. Pero sus equivalentes en otros idiomas podrían dividirse de manera diferente:
| Idioma | Palabra | Tokens aproximados |
|---|---|---|
| Inglés | hello | 1 |
| Español | hola | 2 |
| Japonés | こんにちは | 1 |
| Árabe | مرحبا | 3-5 |
| Ruso | привет | 3-4 |
Una palabra muy común como こんにちは aún puede ser un solo token, porque aparecía con frecuencia en el texto a partir del cual se creó el tokenizador.
Los idiomas que utilizan sistemas de escritura no latinos, como el chino, el japonés, el coreano, el árabe o el hindi, tienden a usar muchos más tokens. Una oración que requiere 10 tokens en inglés podría necesitar 20 o 30 tokens en japonés.
Esto importa por razones prácticas. Si trabajas en un idioma que no sea inglés, alcanzarás más rápido los límites de la ventana de contexto, las respuestas pueden costar más y la generación podría tardar un poco más. Usar más tokens no hace por sí solo que la IA sea peor en un idioma, pero los modelos entrenados principalmente con textos en inglés suelen dar respuestas más débiles en idiomas menos frecuentes en sus datos de entrenamiento.
Pruébalo tú mismo
Esta lección no incluye un desafío de código.
Esta lección incluye un breve cuestionario. Empieza la lección para responderlo y registrar tu progreso.
Todas las lecciones de Fundamentos
2Cómo te lee la IA: tokens
¿Qué son los tokens?Palabras ≠ tokensPor qué importa la cantidad de tokensLa ventana de contextoTokens en otros idiomasTokens especiales que nunca ves3Escribe tus primeros prompts
La IA habla Markdown (por defecto)Controlar el formato de salidaControlar el tono y el estiloCuando la IA te ignora