clem 🤗mediumconfig v9

Poolside称 Laguna M.1 已可在苹果芯片 Mac 本地运行

摘要与判断

Poolside 表示,已有开发者将 Laguna M.1 做成 3 比特 MLX 版本并在 Apple Silicon 本地跑通,在配备 128GB 统一内存的 M3 Max 上推理速度约为每秒 26 个 token、峰值内存约 100GB。这说明超大模型在苹果芯片设备上的本地部署可行性进一步提高,直接关联 AI 模型适配与开发者侧推理基础设施。

Topics

AI 开发者生态变化大模型公司新进展

引用和原文

Trace

Raw Item
raw_0b50970ce6b44148
Processed Item
processed_067722c0466e4073
Source
source_x_clementdelangue
LLM Logs
llm_06255dc5bb4047d2, llm_1b06b890ea27468b
Coze Loop
c1ee2ab4d45d22c01de9dd4f7cbda5d1