Max For AImediumconfig v28

传字节跳动正讨论训练超5万亿参数大模型,张一鸣内部明确反对模型蒸馏

摘要与判断

字节跳动正讨论训练超5万亿参数的新大模型,规模或创国内已知之最,项目由Seed Foundation负责人项亮主导。创始人张一鸣在内部明确反对模型蒸馏路线,表示允许团队短期落后以追求智能上限,并提醒勿盲从编程热点。这一战略调整反映了字节在语言模型进展受挫后,试图通过集中资源和扩大预训练规模实现技术反超的决心,但该计划仍处早期讨论阶段。

Topics

引用和原文

Trace

Raw Item
raw_5be570253ce64e06
Processed Item
processed_c4fc7a79a954434d
Source
source_x_maxforai
Cluster
查看所属簇
LLM Logs
llm_da2a723988e24e3f, llm_ec53a6ee7559418c, llm_c10fbb980e9245b4
Coze Loop
b781a904f9ed73197f8b85be34c3fd2c