开发者称自研推理引擎多数GPU上快于vLLM 10%至20%

摘要与判断

一名开发者称，其从零开发了采用MLIR编译器的大语言模型推理引擎，已在多数GPU上比vLLM快约10%至20%；目前仅支持Qwen3/3.5、FP8/NVFP4量化、KV缓存量化和dflash，计划年内发布并征集功能需求。该项目仍处于功能较少的早期阶段，性能优势和最终可用性尚待发布后进一步检验，对推理引擎用户的直接影响暂时有限。

Topics

引用和原文

• For the past 2+ years, I’ve been working on a from-scratch LLM inference engine, with its
• 原文链接

Trace

Raw Item

raw_8de0df988d484cc2

Processed Item

processed_72ac814a5dd045d5

Source

source_x_feishu_candidate_llmjunky

Cluster

查看所属簇

LLM Logs

llm_14d194efd7f14fd9, llm_2443decff4384326, llm_c807c5ea1a534af7

Coze Loop

4c080da74aa59e63cc89ef2567bab4f5