Emad 估算 Kimi K3 训练成本仅约 1500 万至 2500 万美元

摘要与判断

Emad 发文祝贺 Moonshot AI 开源前沿模型 Kimi K3，并对其训练细节进行了专业估算。他推测该模型预训练采用 fp16 精度配合 Muon 优化器，SFT 阶段转为 MXFP4/MXFP8 格式，总计算量约 1e25 FLOPs，整体训练成本在 1500 万至 2500 万美元之间。这一估算表明，通过优化训练策略，较低成本也能打造出前沿模型，为行业对“规模法则”的认知提供了新视角。

Topics

引用和原文

• Kimi K3 by @Kimi_Moonshot is a true frontier model, open source! Congrats! We don't have a
• 原文链接

Trace

Raw Item

raw_d49bdc5de0a34447

Processed Item

processed_f3106759a98a450b

Source

source_x_feishu_candidate_emostaque

Cluster

查看所属簇

LLM Logs

llm_f480c30124b24a20, llm_ea10945151e24900, llm_112381845fe24f15

Coze Loop

42fcdf0edd4462a2db7eaaaf668e0843