Prime Intellect 发布针对 Blackwell 优化的 MoE 推理内核 Prime Flash MoE

摘要与判断

Prime Intellect 正式发布针对 Blackwell 架构优化的 MoE 推理 CUDA 内核集合 Prime Flash MoE。该方案创新性地融合了路由感知 GEMM、SwiGLU 激活、量化与归约操作，有效避免了中间张量的物化，同时支持 BF16 与 MXFP8 计算路径，并已在 B200 GPU 上完成基准测试。这一底层优化为基于最新英伟达硬件的大规模混合专家模型推理提供了更高效的算力支持与内存管理方案。

Topics

引用和原文

• Introducing Prime Flash MoE - a set of Blackwell-optimized CUDA kernels for MoE inference.
• 原文链接

Trace

Raw Item

raw_7883e2464a4d40c2

Processed Item

processed_974ab108c2f14670

Source

source_x_feishu_candidate_primeintellect

Cluster

查看所属簇

LLM Logs

llm_48f0a87a036a493f, llm_971b9ac8e94a4d44, llm_ece0dfb9f87543ab

Coze Loop

4854919695691d4de2efe61091bd18b5