ICML获奖论文量化大模型记忆容量：每个参数仅存约3.6 bit

摘要与判断

ICML 2026获奖论文首次量化大语言模型记忆容量，发现每个参数仅能存储约3.6 bit信息，80亿参数模型记忆量远低于训练数据总量。研究指出模型容量有限，数据超载时被迫转向泛化，引发双下降现象。这一发现表明单纯堆砌参数的路线受限，数据筛选成为关键，已有前沿实验室将其应用于中期训练数据筛选，作者也基于此创办公司并获巨额融资。

Topics

引用和原文

• 80亿参数记性不如U盘：他算出了大模型记忆天花板
• 原文链接

Trace

Raw Item

raw_e23674065a7b4458

Processed Item

processed_9d492cc4268e4ab7

Source

source_wechat_xinzhiyuan

Cluster

查看所属簇

LLM Logs

llm_54d1fa347ad14ce2, llm_12300d0600c1484a, llm_7a21500ead174c96

Coze Loop

c89f04fa7d99e8dea8a03d2f6c3c5d84