Menu
CoddyTech

Tokens em outros idiomas

Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 11 de 23.

A maioria dos modelos de IA foi treinada principalmente com textos em inglês. Isso tem uma consequência surpreendente: idiomas que não são o inglês geralmente usam mais tokens para expressar o mesmo significado.

A palavra hello em inglês normalmente é um único token. Mas seus equivalentes em outros idiomas podem ser divididos de maneiras diferentes:

IdiomaPalavraTokens aproximados
Inglêshello1
Espanholhola2
Japonêsこんにちは1
Árabeمرحبا3-5
Russoпривет3-4

Uma palavra muito comum como こんにちは ainda pode ser um único token, porque apareceu com frequência no texto usado para criar o tokenizador.

Idiomas com sistemas de escrita não latinos, como chinês, japonês, coreano, árabe ou hindi, tendem a usar significativamente mais tokens. Uma frase que leva 10 tokens em inglês pode exigir 20 ou 30 tokens em japonês.

Isso é importante por motivos práticos. Se você estiver trabalhando em um idioma que não seja o inglês, atingirá os limites da janela de contexto mais rapidamente, as respostas poderão custar mais e a geração talvez demore um pouco mais. Usar mais tokens não torna, por si só, a IA pior em um idioma, mas os modelos treinados principalmente com textos em inglês costumam dar respostas mais fracas em idiomas que eram menos comuns nos dados usados em seu treinamento.

Experimente você mesmo

Esta lição não inclui um desafio de código.

quiz iconTeste seus conhecimentos

Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.

Todas as lições de Fundamentos