ICML获奖论文量化大模型记忆容量：每个参数仅存约3.6 bit

ICML 2026获奖论文首次量化大语言模型记忆容量，发现每个参数仅能存储约3.6 bit信息，80亿参数模型记忆量远低于训练数据总量。研究指出模型容量有限，数据超载时被迫转向泛化，引发双下降现象。这一发现表明单纯堆砌参数的路线受限，数据筛选成为关键，已有前沿实验室将其应用于中期训练数据筛选，作者也基于此创办公司并获巨额融资。