目に見えない特殊トークン
CoddyのAI Promptsジャーニー「基礎」セクションの一部 — レッスン 12/23。
あなたのテキストやシステムプロンプトに加えて、AIは特殊トークン（会話を構造化する目に見えないマーカー）を使用します。これらは <|user|>、<|assistant|>、または <|end|> のような形式をしていますが、正確な形式はモデルによって異なります。
これらのトークンは、各メッセージの開始と終了、および誰が話しているかを示します。これらがないと、モデルは誰の番であるかを判断できません。これらを入力したり目にしたりすることはありませんが、コンテキストウィンドウ内のスペースを消費します。
これが、空の会話であってもトークンがゼロにならない理由であり、トークン数が時として予想よりもわずかに多く見える理由です。長いやり取りの会話では、これらのマーカーが蓄積されます。各メッセージの境界には、独自のセットが必要になるためです。
特別なトークンを直接管理する必要はありません。しかし、それらが存在することを知っておくと、それらの「余分な」トークンがどこから来ているのかを説明するのに役立ちます。
チートシート
AIの会話では、スペシャルトークン（<|user|>、<|assistant|>、<|end|>などの会話を構造化する不可視のマーカー）を使用します。
これらのトークンはメッセージの境界を示し、話者を識別します。これらはコンテキストウィンドウ内のスペースを消費するため、以下のことが起こります。
- 空の会話でもトークン数はゼロになりません
- トークン数が予想よりも多く見えることがあります
- 長い会話ではメッセージの境界によるオーバーヘッドが蓄積されます
スペシャルトークンを直接管理することはありませんが、これらを理解することで「余分な」トークンがどこから来るのかを説明できます。
自分で試してみよう
このレッスンにはコードチャレンジは含まれていません。
腕試しこのレッスンには短いクイズがあります。レッスンを始めて解答し、進捗を記録しましょう。