Menu
CoddyTech

他の言語でのトークン

CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 11/23。

ほとんどのAIモデルは、主に英語のテキストで学習されています。これには意外な結果があります。英語以外の言語では、同じ意味を表すのにより多くのトークンが使われることがよくあります。

英語のhelloという単語は、通常1つのトークンです。しかし、他の言語での相当する語は、異なる形で分割されることがあります。

言語単語おおよそのトークン数
英語hello1
スペイン語hola2
日本語こんにちは1
アラビア語مرحبا3-5
ロシア語привет3-4

こんにちはのような非常によく使われる単語も、トークナイザーの構築元となったテキストに頻繁に登場していたため、1つのトークンになることがあります。

中国語、日本語、韓国語、アラビア語、ヒンディー語など、ラテン文字以外の文字体系を使う言語では、一般にトークン数がかなり多くなります。英語では10トークンで済む文でも、日本語では20〜30トークン必要になることがあります。

これは実用的な理由から重要です。英語以外の言語で作業している場合、コンテキストウィンドウの上限に早く達し、応答の費用が高くなり、生成に少し時間がかかることがあります。トークン数が多いからといって、それだけでAIのその言語の能力が低下するわけではありませんが、主に英語のテキストで訓練されたモデルは、訓練データにあまり含まれていなかった言語では、回答の質が低くなることがよくあります。

自分で試してみよう

このレッスンにはコードチャレンジは含まれていません。

quiz icon腕試し

このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。

基礎のすべてのレッスン