meng shaohighconfig v28

月之暗面开源2.8万亿参数多模态模型Kimi K3

摘要与判断

月之暗面(Moonshot AI)正式发布Kimi K3技术报告并开源完整模型权重。该模型拥有2.8万亿参数,采用MoE架构(896个专家中激活16个),支持100万token上下文窗口,并在核心架构中内置了原生多模态能力,可同时处理文本、图像和视频。此次开源为开源大模型树立了新的技术标杆,其引入的KDA等新架构组件显著提升了长上下文建模与训练效率,将极大推动多模态AI的研发进程。

Topics

引用和原文

Trace

Raw Item
raw_a8524b57079e4768
Processed Item
processed_b806746316e14939
Source
source_x_shao_meng
Cluster
查看所属簇
LLM Logs
llm_e278e063af48450c, llm_4902d92b8b6a4b62, llm_9569eeaf7ea74691
Coze Loop
a16b54a7adda76864dc91d42b1926969