単語 ≠ トークン

よくある間違いは、1つの単語が1つのトークンに等しいと思い込むことです。実際にはそうではありません。

cat という単語は1つのトークンです。しかし、cats はどうでしょうか？cat と s という2つのトークンになる可能性があります。hello という単語は1つのトークンですが、大文字の H を使った Hello は異なる方法でトークン化される可能性があります。

スペース、句読点、大文字と小文字はすべて、テキストがどのように分割されるかに影響します。

驚くような例をいくつか見てみましょう：

テキスト	おおよそのトークン数
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

数字は特に扱いが難しいものです。1000は1つのトークンだと思うかもしれませんが、100と0に分割されたり、1桁ずつに分割されたりすることもあります。これが、AIが正確な計算に苦労することがある理由です。AIには、あなたが見ているように数字が見えているわけではありません。

重要な洞察：単に単語を数えているだけでは、トークン数は予測できません。100語のプロンプトでも、選んだ具体的な単語によって、130トークンになったり150トークンになったりする可能性があります。

入力するときにチャットパネルのトークンカウンターを見てください。単語ごとに正確に1つずつ増えるわけではないことがわかります。