Prime Intellect 发布针对 Blackwell 优化的 MoE 推理内核 Prime Flash MoE

摘要与判断

Prime Intellect 发布了专为 Blackwell 架构优化的 CUDA 内核集合 Prime Flash MoE，旨在提升混合专家（MoE）模型的推理效率。该内核融合了路由感知 GEMM、SwiGLU、量化及归约操作，避免了中间张量的物化，并支持 BF16 与 MXFP8 路径，已在 B200 GPU 上完成基准测试。这一发布为开发者在最新硬件上部署复杂模型提供了更底层的性能优化方案。

Topics

引用和原文

• Introducing Prime Flash MoE - a set of Blackwell-optimized CUDA kernels for MoE inference.
• 原文链接

Trace

Raw Item

raw_bd951c0d81254dd9

Processed Item

processed_128defd3e1964c0f

Source

source_x_feishu_candidate_eliebakouch

Cluster

查看所属簇

LLM Logs

llm_9921df0e69aa4cab, llm_4700f8a70f69425c, llm_458af43ec38d43c2

Coze Loop

0c6b02bceaa54523c4c4d3f2b98b6721