なぜトークン数が重要なのか
CoddyのAI Promptsジャーニー「基礎」セクションの一部 — レッスン 9/23。
トークンが重要な3つの理由
コスト。 AIサービスはトークンごとに課金され、出力トークンは入力トークンよりも高価です。長い回答を生成する冗長なプロンプトは、簡潔なものよりもコストがかかります。
速度。 AIは一度に1トークンずつ出力を生成します。短いレスポンスほど、より速く返ってきます。
コンテキスト制限。すべてのモデルには、会話ごとの最大トークン容量(コンテキストウィンドウ)があります。プロンプトが長いと、レスポンスのための空き容量が少なくなります。
これが効率が重要である理由です。「Can you please help me by explaining in great detail what the capital city of France is?」(約20トークン)は、「What is the capital of France?」(約7トークン)と同じ回答を、より低コストかつ高速に得ることができます。
参考までに、GPT-4oのコストは100万入力/出力トークンあたり約2.50ドル/10ドルです。Claude Sonnetは3ドル/15ドルです。100万トークンは約750,000語に相当するため、何気ない利用であっても費用がかさみます。
チートシート
トークンはAI利用の3つの主要な側面に影響を与えます:
コスト:AIサービスはトークンごとに課金され、出力トークンは入力トークンよりも高価です。
速度:AIは出力を1トークンずつ生成するため、回答が短いほど高速になります。
コンテキスト制限:モデルには1つの会話あたりの最大トークン容量(コンテキストウィンドウ)があります。プロンプトが長いほど、回答に割ける容量が少なくなります。
効率的なプロンプトはコストを削減し、速度を向上させます。例:
- 「フランスの首都がどこであるか、非常に詳しく説明して助けていただけますか?」 (~20 トークン)
- 「フランスの首都は何ですか?」 (~7 トークン)
どちらも同じ回答が得られますが、後者の方が効率的です。
料金の目安:GPT-4oは100万入力/出力トークンあたり約2.50ドル/10ドル、Claude Sonnetは約3ドル/15ドルです。100万トークンは約75万語に相当します。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
このレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。