単語≠トークン
CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 8/23。
よくある間違いは、1つの単語が1つのトークンに相当すると考えることです。実際はそうではありません。
catという単語は1つのトークンです。しかし、catsはどうでしょう?2つのトークン、catとsに分けられるかもしれません。helloという単語は1つのトークンですが、Hが大文字のHelloは異なる方法でトークン化される可能性があります。
スペース、句読点、大文字と小文字の使い方は、テキストの分割方法にすべて影響します。
意外な例をいくつか見てみましょう。
| テキスト | おおよそのトークン数 |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
数値は特に厄介です。1000は1つのトークンだと思うかもしれませんが、100と0に分割されたり、1桁ずつに分割されたりすることもあります。そのため、AIは正確な計算に苦労することがあります。AIには、あなたと同じように数値が見えているわけではないのです。
重要なポイントは、単語を数えるだけではトークン数を予測できないということです。100語のプロンプトでも、選んだ単語によって130トークンになったり、150トークンになったりすることがあります。
返信のたびに、チャットには使用した入力トークンと出力トークンの数が表示されます。その数を単語数と比べてみましょう。両者が一対一で対応することはほとんどありません。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。