なぜトークン数が重要なのか

トークンが重要な3つの理由

コスト。 AI サービスはトークン単位で料金を請求し、出力トークンは入力トークンよりも高くなります。長い応答を生成する冗長なプロンプトは、簡潔なプロンプトよりも高くつきます。

速度。 AIは一度に1つのトークンずつ出力を生成します。短い応答ほど速く返ってきます。

コンテキストの制限。 すべてのモデルには、1回の会話で処理できるトークン数の上限（コンテキストウィンドウ）があります。長いプロンプトでは、応答に使える余地が少なくなります。

これが効率性が重要な理由です。「Can は、please help me by explaining in great detail what the capital city of France ですか？」（約20トークン）は、「What は France の capital ですか？」（約7トークン）と同じ回答を、より低コストかつ高速で得られます。

参考までに、GPT-4oの料金は入力トークン100万個あたり約$2.50、出力トークン100万個あたり約$10です。Claude Sonnetは$3/$15です。100万トークンはおよそ750,000語に相当するため、何気なく使っていても料金は積み重なります。