Menu
CoddyTech

単語≠トークン

CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 8/23。

よくある間違いは、1つの単語が1つのトークンに相当すると考えることです。実際はそうではありません。

catという単語は1つのトークンです。しかし、catsはどうでしょう?2つのトークン、catとsに分けられるかもしれません。helloという単語は1つのトークンですが、Hが大文字のHelloは異なる方法でトークン化される可能性があります。

スペース、句読点、大文字と小文字の使い方は、テキストの分割方法にすべて影響します。

意外な例をいくつか見てみましょう。

テキストおおよそのトークン数
dog1
dogs1-2
extraordinary2-3
1234562-6
!!!1-3

数値は特に厄介です。1000は1つのトークンだと思うかもしれませんが、100と0に分割されたり、1桁ずつに分割されたりすることもあります。そのため、AIは正確な計算に苦労することがあります。AIには、あなたと同じように数値が見えているわけではないのです。

重要なポイントは、単語を数えるだけではトークン数を予測できないということです。100語のプロンプトでも、選んだ単語によって130トークンになったり、150トークンになったりすることがあります。

返信のたびに、チャットには使用した入力トークンと出力トークンの数が表示されます。その数を単語数と比べてみましょう。両者が一対一で対応することはほとんどありません。

自分で試してみよう

このレッスンにはコードチャレンジは含まれていません。

quiz icon腕試し

このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。

基礎のすべてのレッスン