你看不到的特殊 token
本课属于 Coddy AI Prompts 学习旅程的“基础知识”单元。第 12 课，共 23 课。
除了你的文本和系统提示词，AI 还会用到特殊 token：一种用来组织对话结构的隐形标记。它们大概长这样：<|user|>、<|assistant|> 或 <|end|>，不过具体格式因模型而异。
这些 token 标记每条消息从哪里开始、到哪里结束，以及是谁在说话。没有它们，模型就不知道轮到谁说话了。你从来不用输入它们，也看不到它们，但它们会占用上下文窗口的空间。
所以即使是空对话，token 数也不是 0；token 数有时也会比你预想的稍高一些。在很长的来回对话中，这些标记会不断累积：每个消息边界都需要自己的一组标记。
你不需要直接管理特殊 token。但知道它们的存在，就能明白那些“多出来”的 token 是从哪里来的。
亲手试试
这节课没有代码挑战。
自我测试这节课包含一个小测验。开始学习即可作答，并记录你的进度。