非英语语言 token 成本：Anthropic 使用中文消耗高出 71% ，中国模型对中文更友好

研究人员对比发现，不同模型的 tokenizer 对非英语文本处理效率差异明显。以《苦涩的教训》一文翻译文本为例，中文在 Anthropic 模型上的 token 消耗是 OpenAI 的 1.71 倍，印地语高达 3.24 倍，阿拉伯语为 2.86 倍。

后续测试更多模型-语言对表明，Gemini 和 Qwen 的非英语额外开销最小，Anthropic 最高，Kimi 次之。中国主流模型处理中文时，甚至比处理英语更节约 token。印地语尽管使用人数众多，但在此对比中 token 效率最低。

Aran Komatsuzaki(@arankomatsuzaki)(1, 2)

• 中国梦想利用人工智能识别未来可能的政治对手 - RFI - 法国国际广播电台
• 崩盘！中国电动车令欧洲人眼泪哭干
• 陶杰：“六四”的“天安门母亲”是中国人的祥林嫂现象
• 中国民主团结联盟纪念六四大屠杀三十七周年声明
• 【平行时空：宪政中国】传播篇：如果1960年代的大陆拥有民营报纸

• 🔥免费PC翻墙、安卓VPN翻墙APP
• 🔥灵魂之谜|中华文化|治国大道

🌸 在花频道 · 备用频道 · 投稿通道