Tokens em outros idiomas
Parte da seção Fundamentos do Journey de AI Prompts da Coddy. Lição 11 de 23.
A maioria dos modelos de IA foi treinada principalmente com textos em inglês. Isso tem uma consequência surpreendente: idiomas que não são o inglês geralmente usam mais tokens para expressar o mesmo significado.
A palavra hello em inglês normalmente é um único token. Mas seus equivalentes em outros idiomas podem ser divididos de maneiras diferentes:
| Idioma | Palavra | Tokens aproximados |
|---|---|---|
| Inglês | hello | 1 |
| Espanhol | hola | 2 |
| Japonês | こんにちは | 1 |
| Árabe | مرحبا | 3-5 |
| Russo | привет | 3-4 |
Uma palavra muito comum como こんにちは ainda pode ser um único token, porque apareceu com frequência no texto usado para criar o tokenizador.
Idiomas com sistemas de escrita não latinos, como chinês, japonês, coreano, árabe ou hindi, tendem a usar significativamente mais tokens. Uma frase que leva 10 tokens em inglês pode exigir 20 ou 30 tokens em japonês.
Isso é importante por motivos práticos. Se você estiver trabalhando em um idioma que não seja o inglês, atingirá os limites da janela de contexto mais rapidamente, as respostas poderão custar mais e a geração talvez demore um pouco mais. Usar mais tokens não torna, por si só, a IA pior em um idioma, mas os modelos treinados principalmente com textos em inglês costumam dar respostas mais fracas em idiomas que eram menos comuns nos dados usados em seu treinamento.
Experimente você mesmo
Esta lição não inclui um desafio de código.
Esta lição inclui um quiz rápido. Comece a lição para respondê-lo e acompanhar seu progresso.
Todas as lições de Fundamentos
2Como a IA lê você: tokens
O que são tokens?Palavras ≠ tokensPor que a contagem de tokens importaA janela de contextoTokens em outros idiomasTokens especiais que você nunca vê3Escrevendo seus primeiros prompts
A IA fala em Markdown (por padrão)Controlando o formato da saídaControlando o tom e o estiloQuando a IA ignora você