他の言語でのトークン
CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 11/23。
ほとんどのAIモデルは、主に英語のテキストで学習されています。これには意外な結果があります。英語以外の言語では、同じ意味を表すのにより多くのトークンが使われることがよくあります。
英語のhelloという単語は、通常1つのトークンです。しかし、他の言語での相当する語は、異なる形で分割されることがあります。
| 言語 | 単語 | おおよそのトークン数 |
|---|---|---|
| 英語 | hello | 1 |
| スペイン語 | hola | 2 |
| 日本語 | こんにちは | 1 |
| アラビア語 | مرحبا | 3-5 |
| ロシア語 | привет | 3-4 |
こんにちはのような非常によく使われる単語も、トークナイザーの構築元となったテキストに頻繁に登場していたため、1つのトークンになることがあります。
中国語、日本語、韓国語、アラビア語、ヒンディー語など、ラテン文字以外の文字体系を使う言語では、一般にトークン数がかなり多くなります。英語では10トークンで済む文でも、日本語では20〜30トークン必要になることがあります。
これは実用的な理由から重要です。英語以外の言語で作業している場合、コンテキストウィンドウの上限に早く達し、応答の費用が高くなり、生成に少し時間がかかることがあります。トークン数が多いからといって、それだけでAIのその言語の能力が低下するわけではありませんが、主に英語のテキストで訓練されたモデルは、訓練データにあまり含まれていなかった言語では、回答の質が低くなることがよくあります。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。