Tokens en otros idiomas

Parte de la sección Fundamentos del Journey de AI Prompts de Coddy. Lección 11 de 23.

La mayoría de los modelos de IA se entrenaron principalmente con textos en inglés. Esto tiene una consecuencia sorprendente: los idiomas distintos del inglés suelen usar más tokens para expresar el mismo significado.

La palabra hello en inglés normalmente es un token. Pero sus equivalentes en otros idiomas pueden dividirse de manera diferente:

Idioma	Palabra	Tokens aproximados
Inglés	`hello`	1
Español	`hola`	1
Japonés	`こんにちは`	3-5
Árabe	`مرحبا`	2-4
Ruso	`привет`	2-3

Los idiomas con alfabetos no latinos, como el chino, el japonés, el coreano, el árabe o el hindi, tienden a utilizar significativamente más tokens. Una oración que requiere 10 tokens en inglés podría requerir 20 o 30 tokens en japonés.

Esto es importante por razones prácticas. Si trabajas en un idioma que no sea el inglés, alcanzarás más rápido los límites de la ventana de contexto, las respuestas pueden costar más y la generación podría tardar un poco más. No es que la IA sea peor con estos idiomas. Simplemente los procesa de manera menos eficiente a nivel de tokens.

Pruébalo tú mismo

Esta lección no incluye un desafío de código.