トークン数が重要な理由
CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 9/23。
トークンが重要な理由は3つあります
コスト。AIサービスはトークン単位で料金を請求し、出力トークンは入力トークンより高額です。長い回答を生成する冗長なプロンプトは、簡潔なプロンプトよりも費用がかかります。
速度。 AIは一度に1つのトークンを生成します。応答が短いほど、返ってくるのが速くなります。
コンテキストの上限。 どのモデルにも、1回の会話で扱えるトークン数の上限(コンテキストウィンドウ)があります。プロンプトが長いほど、応答に使える余地は少なくなります。
だからこそ効率が重要です。「フランスの首都がどこなのか、詳しく説明してもらえますか?」(約20トークン)も、「フランスの首都はどこですか?」(約7トークン)も同じ回答が得られますが、後者のほうがコストが低く、速度も速くなります。
参考までに、GPT-4oは入力/出力トークン100万個あたり約$2.50/$10、Claude Sonnetは$3/$15です。トークン100万個はおよそ75万語に相当するため、気軽に使うだけでも費用がかさみます。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。