Tokens em outros idiomas
Parte da seção Fundamentos do Journey de AI Prompts da Coddy — lição 11 de 23.
A maioria dos modelos de IA foi treinada principalmente em textos em inglês. Isso tem uma consequência surpreendente: idiomas que não são o inglês costumam usar mais tokens para o mesmo significado.
A palavra hello em inglês é tipicamente um token. Mas seus equivalentes em outros idiomas podem ser divididos de forma diferente:
| Idioma | Palavra | Tokens Aproximados |
|---|---|---|
| Inglês | hello | 1 |
| Espanhol | hola | 1 |
| Japonês | こんにちは | 3-5 |
| Árabe | مرحبا | 2-4 |
| Russo | привет | 2-3 |
Idiomas com escritas não latinas — como chinês, japonês, coreano, árabe ou hindi — tendem a usar significativamente mais tokens. Uma frase que consome 10 tokens em inglês pode exigir 20 ou 30 tokens em japonês.
Isso importa por razões práticas. Se você estiver trabalhando em um idioma que não seja o inglês, atingirá os limites da janela de contexto mais rapidamente, as respostas podem custar mais e a geração pode levar um pouco mais de tempo. Não é que a IA seja pior nesses idiomas — ela simplesmente os processa de forma menos eficiente no nível do token.
Folha de consulta
Modelos de IA treinados principalmente em texto em inglês usam tokens de forma menos eficiente para idiomas que não são o inglês. Escritas não latinas (chinês, japonês, coreano, árabe, hindi) normalmente exigem significativamente mais tokens para o mesmo significado.
| Idioma | Palavra | Tokens Aproximados |
|---|---|---|
| Inglês | hello | 1 |
| Espanhol | hola | 1 |
| Japonês | こんにちは | 3-5 |
| Árabe | مرحبا | 2-4 |
| Russo | привет | 2-3 |
Implicações práticas: Idiomas que não são o inglês atingem os limites da janela de contexto mais rapidamente, podem custar mais e levar um pouco mais de tempo para serem gerados.
Experimente você mesmo
Esta lição não inclui um desafio de código.
Teste seus conhecimentosEsta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Fundamentos
2Como a IA lê você — Tokens
O que são Tokens?Palavras ≠ TokensPor que a contagem de Tokens importaA Janela de ContextoTokens em outros idiomasTokens especiais que você nunca vê3Escrevendo Seus Primeiros Prompts
A IA fala Markdown (por padrão)Controlando o Formato de SaídaControlando Tom e EstiloQuando a IA ignora você