目に見えない特殊トークン
CoddyのAI Promptsジャーニー「基礎」セクションの一部。レッスン 12/23。
あなたのテキストとシステムプロンプトに加えて、AIは特殊なトークンを使用します。これは会話を構造化する目に見えないマーカーです。<|user|>、<|assistant|>、<|end|>のようなものですが、正確な形式はモデルによって異なります。
これらのトークンは、各メッセージの開始位置と終了位置、そして誰が発言しているかを示します。これらがなければ、モデルは誰の番なのか分かりません。あなたがこれらを入力することも、目にすることもありませんが、コンテキストウィンドウ内のスペースを消費します。
これが、空の会話でさえトークン数がゼロにならない理由であり、トークン数が予想より少し多く見えることがある理由です。長いやり取りの会話では、これらのマーカーが積み重なります。各メッセージの境界には、それぞれ専用のセットが必要です。
特別なトークンを直接管理する必要はありません。ただし、それらが存在することを知っておくと、これらの「余分な」トークンがどこから来るのかを説明しやすくなります。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
腕試しこのレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。