词 ≠ token

一个常见的误解是：一个词就等于一个 token。实际上并不是这样。

英文单词 cat（猫）是一个 token。那 cats（复数）呢？它可能是两个 token：cat 和 s。hello 是一个 token，但首字母大写的 Hello 可能会被拆成不同的 token。

空格、标点和大小写都会影响文本被拆分的方式。

来看几个出人意料的例子：

文本	大约的 token 数
dog	1
dogs	1 至 2
extraordinary	2 至 3
123456	2 至 6
!!!	1 至 3

数字尤其棘手。你可能以为 1000 是一个 token，但它可能被拆成 100 和 0，甚至一位一位地拆开。这就是 AI 有时做不好精确计算的原因：它看到数字的方式和你不一样。

关键在于：如果你只数单词，token 数是无法预测的。一段 100 个英文单词的提示词，可能用掉 130 个 token，也可能是 150 个，取决于你具体用了哪些词。

每次回复之后，聊天里都会显示这次用了多少输入 token 和输出 token。拿这些数字和词数比一比：它们很少一一对应。