Tokens em outros idiomas

Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 11 de 23.

A maioria dos modelos de IA foi treinada principalmente com textos em inglês. Isso tem uma consequência surpreendente: idiomas diferentes do inglês frequentemente usam mais tokens para expressar o mesmo significado.

A palavra hello em inglês normalmente é um único token. Mas seus equivalentes em outros idiomas podem ser divididos de forma diferente:

Idioma	Palavra	Tokens aproximados
Inglês	`hello`	1
Espanhol	`hola`	1
Japonês	`こんにちは`	3-5
Árabe	`مرحبا`	2-4
Russo	`привет`	2-3

Idiomas com sistemas de escrita não latinos, como chinês, japonês, coreano, árabe ou hindi, tendem a usar significativamente mais tokens. Uma frase que usa 10 tokens em inglês pode exigir 20 ou 30 tokens em japonês.

Isso é importante por razões práticas. Se você estiver trabalhando em um idioma diferente do inglês, atingirá os limites da janela de contexto mais rapidamente, as respostas poderão custar mais e a geração poderá demorar um pouco mais. Não é que a IA seja pior nesses idiomas. Ela simplesmente os processa com menos eficiência no nível dos tokens.

Experimente você mesmo

Esta lição não inclui um desafio de código.