AI 大模型为什么要交「中文税」:为何中文比英文更费 Token?
躲过涨价的中文用户,藏着 AI 计费的隐秘差异
上周帮海外客户调试跨境 AI 客服系统时,客户发来的账单截图让我一愣:同样是处理 1000 条用户咨询,他用英文调用 Claude 4.7 的成本,比我用中文处理同类内容高出近 40%。而就在不久前,Opus 4.7 发布后,海外社交平台上怨声载道 —— 有开发者晒出 200 美元的 Max 订阅不到 3 小时就触顶的截图,独立开发者 Alex 甚至吐槽:“为了不耽误工作,我被迫买了两份订阅。”
就在英文用户为账单焦虑时,中文用户却发现自己几乎躲过了这次涨价潮。这种诡异的差异,指向了 AI 大模型圈里一个被热议的话题:「中文税」—— 为什么在部分海外模型中,中文的 Token 消耗远高于英文?
中文税的具体表现:多模型测试下的真实差异
为了搞清楚真相,我用 25 段涵盖日常对话、技术文档、财经新闻、文学文本的中英平行语料,测试了 Claude 4.6/4.7、GPT-4o、Qwen2-72B、DeepSeek-R1 四个主流模型的 Token 消耗,得出三个核心结论:
海外模型:中文持续偏贵
Claude 旧版 tokenizer 下,中文 Token 消耗比英文高 15%-60%,极端场景如某 IT 技术白皮书的中文版,比英文版本多付 58% 的费用;GPT-4o 的表现稍好,但中文整体仍比英文贵 8%-35%。更关键的是,Token 消耗差异直接限制上下文窗口:同样 200k 窗口,旧版 Claude 能容纳的中文资料容量比英文少 50% 左右 —— 意味着中文用户付更多钱,却得到更小的工作空间。
国产模型:中文反而更省
Qwen2-72B 和 DeepSeek-R1 的中文 Token 消耗普遍低于英文,其中 DeepSeek-R1 最低仅为英文的 62%,同一段内容的中文版能省下近 40% 的成本。比如处理一篇 1000 字的 AI 工程方案,英文版本在 DeepSeek-R1 中消耗 180 个 Token,中文版仅需 112 个。
Opus 4.7 的差异化通胀
此次 Claude Opus 4.7 的 tokenizer
