Lily Zhanghighconfig v28

Kimi K3开源2.8T MoE模型,原生掌控推理加速与量化质量

摘要与判断

月之暗面正式开源2.8万亿参数的Kimi K3混合专家模型,支持百万上下文与原生视觉理解。技术报告显示,K3从微调阶段即引入量化感知训练,原生输出mxfp4格式,并自带用于无损投机采样的草稿模型。这一技术路线使模型层直接收回了推理加速与质量控制的主导权,避免了交由第三方推理供应商量化带来的性能损耗,对大模型推理生态的分工模式具有重要示范效应。

Topics

引用和原文

Trace

Raw Item
raw_d4538b76a93741ac
Processed Item
processed_bf77c1e3604b4813
Source
source_x_lily_gpupoor
Cluster
查看所属簇
LLM Logs
llm_bf64fbf669e148d5, llm_97513e57a0a14587, llm_b493c7b8b943412b
Coze Loop
98d72102e182a4abf443836c4c2be867