斯坦福Marin启动535B大模型训练，代码数据与指标全公开

摘要与判断

斯坦福CRFM主导的开放基础模型项目Marin已启动535B-A23B MoE训练：总参数5350亿、每Token激活约230亿，计划处理18.75万亿Token，使用11套GB200 NVL72系统运行约3个月，并公开代码、数据、配置与训练指标。项目目前仍处早期，透明协作机制对开放模型研发具有参考价值，但最终性能和实际影响尚未确定。

Topics

引用和原文

• 535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
• 原文链接

Trace

Raw Item

raw_88b1a909c01e4083

Processed Item

processed_37635d09c48f4071

Source

source_wechat_ai_qianxian

Cluster

查看所属簇

LLM Logs

llm_92ba94703b124dd5, llm_893c83d48b3242f8, llm_8dccd3c36ac14de7

Coze Loop

99bd135fc0eed8aae9e2a040a795208d