単語≠トークン

よくある誤解は、1つの単語が1つのトークンに等しいと思い込むことです。実際はそうではありません。

catは1つのトークンです。しかし、catsはどうでしょう？2つのトークン、つまりcatとsに分けられるかもしれません。helloは1つのトークンですが、Hが大文字のHelloは異なる形でトークン化される可能性があります。

スペース、句読点、大文字と小文字の使い分けは、テキストの分割方法にすべて影響します。

意外な例をいくつか見てみましょう。

テキスト	トークンのおおよその数
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

数値は特に扱いが難しいものです。1000は1つのトークンだと思うかもしれませんが、100と0に分割されたり、1桁ずつに分割されたりすることもあります。そのため、AIは正確な計算に苦労することがあります。AIには、あなたと同じように数値が見えているわけではないのです。

重要なポイントは、単語を数えるだけではトークン数を予測できないということです。100語のプロンプトでも、選んだ単語によって130トークンになることもあれば、150トークンになることもあります。

返信のたびに、チャットには使用した入力トークン数と出力トークン数が表示されます。それらの数を単語数と比べてみましょう。1対1で一致することはめったにありません。