Max For AImediumconfig v28
传字节跳动正讨论训练超5万亿参数大模型,张一鸣内部明确反对模型蒸馏
摘要与判断
字节跳动正讨论训练超5万亿参数的新大模型,规模或创国内已知之最,项目由Seed Foundation负责人项亮主导。创始人张一鸣在内部明确反对模型蒸馏路线,表示允许团队短期落后以追求智能上限,并提醒勿盲从编程热点。这一战略调整反映了字节在语言模型进展受挫后,试图通过集中资源和扩大预训练规模实现技术反超的决心,但该计划仍处早期讨论阶段。
Topics
引用和原文
Trace
- Raw Item
- raw_5be570253ce64e06
- Processed Item
- processed_c4fc7a79a954434d
- Source
- source_x_maxforai
- Cluster
- 查看所属簇
- LLM Logs
- llm_da2a723988e24e3f, llm_ec53a6ee7559418c, llm_c10fbb980e9245b4
- Coze Loop
- b781a904f9ed73197f8b85be34c3fd2c