专家质疑Kimi K3靠蒸馏Fable快速追平

美国白宫科技顾问 Michael Kratsios 指控，中国 AI 公司 Moonshot 在训练 Kimi K3 时复制了 Anthropic 的 Fable 模型，并使用了未获准出口到中国的高端芯片。不过，多名接受 TechCrunch 采访的研究人员对这一说法表示怀疑，认为仅靠蒸馏不足以解释 Kimi K3 的表现。

Kimi K3 被称为目前参数权重开放范围内规模最大的 LLM 之一。Kratsios 在社交平台发文称，大规模、隐蔽的工业蒸馏正在窃取美国专有技术，并削弱美国研究优势。但他没有公开更多证据来源，Moonshot 也未回应其训练流程相关问题。

专家称时间窗口过短

Laude Institute 研究员、Snorkel AI 联合创始人 Braden Hancock 表示，如果完全依赖蒸馏，很难在 Fable 7 月 1 日公开后两周内完成足够的数据采集、模型训练和发布。

Allen Institute for AI 研究员 Nathan Lambert 也认为，随着中国模型逐步接近前沿水平，单纯依赖监督微调带来的收益正在下降。按他的判断，如果蒸馏真能快速复制 Kimi K3 的能力，行业内其他团队也应更容易追上，但现实并非如此。

蒸馏更像复制风格

蒸馏通常是通过持续调用目标模型，收集问答数据，再用于后训练。有时会要求模型展示推理过程，有时则直接把提示词和回复用于监督微调。

研究人员指出，这类方法更容易复制模型的表达方式和回答习惯，而不是在短时间内完整复现高水平能力。若要接近 Fable 这类模型的表现，往往还需要强化学习等更复杂的方法，而这对算力、时间和资金的要求都更高。

争议还指向受限芯片

报道指出，Anthropic 今年早些时候曾公开指控 Moonshot、DeepSeek 和 MiniMax 系统性蒸馏其模型。Anthropic 称，其通过 IP 地址和其他元数据识别出这些公司与自家模型之间的数百万次交互，并认为这些请求明显不同于正常使用模式。

不过，蒸馏并非只出现在中国 AI 公司。报道提到，马斯克今年早些时候也曾表示，行业内普遍存在蒸馏做法，蒸馏与合成数据集开发之间的界线并不总是清晰。

Kratsios 的另一项指控是，Moonshot 获取了受美国出口限制的 Nvidia Grace Blackwell 300 芯片，并使用了位于泰国、配备 GB300 的服务器。乔治城大学研究员 Sam Bresnick 表示，先进芯片流入中国的黑市确实存在，他主张全球数据中心应建立更严格的客户识别和申报机制。

补充信息：报道提到，拜登政府曾在 2024 年提出面向数据中心的联邦客户识别规则，但在特朗普任内尚未看到进一步推进；与此同时，美国出口商仍需确保先进芯片仅用于获批用途。