Prime Intellect 发布 Blackwell 架构优化的 MoE 推理内核 Prime Flash MoE

摘要与判断

Prime Intellect 发布了针对 Blackwell 架构优化的 CUDA 内核集合 Prime Flash MoE，专为混合专家模型（MoE）推理设计。该工具融合了路由感知 GEMM、SwiGLU、量化和归约操作，避免物化中间结果，支持 BF16 与 MXFP8 路径，并在 B200 GPU 上完成基准测试。这为开发者在最新硬件上部署 MoE 模型提供了更高效的底层支持。

Topics

引用和原文

• Introducing Prime Flash MoE - a set of Blackwell-optimized CUDA kernels for MoE inference.
• 原文链接

Trace

Raw Item

raw_5b99338db1d94019

Processed Item

processed_72b8dca18d0e4e04

Source

source_x_feishu_candidate_johannes_hage

Cluster

查看所属簇

LLM Logs

llm_27ac1da2041147a9, llm_bd6ea9cb54ff4333, llm_4f1fee3d85704e71

Coze Loop

f002da58ebdd6fcd3fd63fe129394167