其他语言中的 token

大多数 AI 模型主要是用英文文本训练的。这带来了一个出人意料的结果：表达同样的意思，非英语语言往往要用更多的 token。

英文单词 hello 通常是一个 token。但它在其他语言里的对应词，拆分方式可能不一样：

像 こんにちは 这样非常常见的词，仍然可能只是一个 token，因为它在构建分词器所用的文本里出现得很频繁。

使用非拉丁文字的语言，比如中文、日语、韩语、阿拉伯语或印地语，往往要用多得多的 token。一句在英文里只要 10 个 token 的话，换成日语可能需要 20 或 30 个 token。

这会带来实际的影响。如果你用的是非英语语言，你会更快碰到上下文窗口的上限，回复的费用可能更高，生成速度也可能稍慢一些。多用 token 本身并不会让 AI 在某种语言上表现更差，但主要用英文文本训练的模型，在训练数据里较少出现的语言上，回答往往确实会弱一些。