DeepGrove 开源三进制权重推理模型 Maple-Preview，端侧速度达 200+ tokens/s

摘要与判断

DeepGrove 推出开源的三进制权重推理大模型 Maple-Preview（20B-A1B），在同级别模型中达到 SOTA，并具备解决 IMO 级别数学题的能力。该模型在 Mac Mini M4 上的推理速度超过 200 tokens/s，比同类高效模型快 5 至 16 倍，展示了三进制权重架构在端侧设备上实现极高尺寸效率与运行速度的潜力。

Topics

引用和原文

• been working with these guys as they quietly built this in stealth for the last year. Supe
• 原文链接

Trace

Raw Item

raw_a5d1a61a2a6e443b

Processed Item

processed_9be539f08e8d4e08

Source

source_x_agupta

Cluster

查看所属簇

LLM Logs

llm_e247b2c584df4664, llm_681a4c059f0b472c, llm_8f764863176b4190

Coze Loop

c0936deefa85977aaf45385b019d27b6