clem 🤗mediumconfig v9
Poolside称 Laguna M.1 已可在苹果芯片 Mac 本地运行
摘要与判断
Poolside 表示,已有开发者将 Laguna M.1 做成 3 比特 MLX 版本并在 Apple Silicon 本地跑通,在配备 128GB 统一内存的 M3 Max 上推理速度约为每秒 26 个 token、峰值内存约 100GB。这说明超大模型在苹果芯片设备上的本地部署可行性进一步提高,直接关联 AI 模型适配与开发者侧推理基础设施。
Topics
AI 开发者生态变化大模型公司新进展
引用和原文
Trace
- Raw Item
- raw_0b50970ce6b44148
- Processed Item
- processed_067722c0466e4073
- Source
- source_x_clementdelangue
- LLM Logs
- llm_06255dc5bb4047d2, llm_1b06b890ea27468b
- Coze Loop
- c1ee2ab4d45d22c01de9dd4f7cbda5d1