単語 ≠ トークン

よくある間違いは、1つの単語が1つのトークンに等しいと仮定することです。実際にはそのようには機能しません。

単語 cat は1つのトークンです。しかし cats はどうでしょうか？それは cat と s という2つのトークンになるかもしれません。単語 hello は1つのトークンですが、大文字のHで始まる Hello は異なってトークン化される可能性があります。

スペース、句読点、および大文字と小文字の区別はすべて、テキストがどのように分割されるかに影響します。

驚くべき例をいくつか挙げます：

テキスト	おおよそのトークン数
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

数値は特に厄介です。1000 は1つのトークンだと思うかもしれませんが、100 と 0 に分割されたり、あるいは1桁ずつに分割されたりすることもあります。これが、AIが時として正確な数学に苦労する理由です。AIはあなたと同じように数値を見ているわけではないのです。

重要な洞察：単語を数えているだけでは、トークン数は予測不可能です。選択した具体的な単語によって、100単語のプロンプトが130トークン、あるいは150トークンを使用することもあります。

入力中にチャットパネルのトークンカウンターを確認してください。1単語につきちょうど1ずつ増えるわけではないことがわかります。