开发者称自研推理引擎多数GPU上快于vLLM 10%至20%

一名开发者称，其从零开发了采用MLIR编译器的大语言模型推理引擎，已在多数GPU上比vLLM快约10%至20%；目前仅支持Qwen3/3.5、FP8/NVFP4量化、KV缓存量化和dflash，计划年内发布并征集功能需求。该项目仍处于功能较少的早期阶段，性能优势和最终可用性尚待发布后进一步检验，对推理引擎用户的直接影响暂时有限。