新论文提出全带宽Transformer架构，复用隐藏状态提升模型性能

一项新研究提出了“全带宽Transformer”（Full-bandwidth Transformer）架构。传统Transformer通常只将采样的token传递到下一步，而该方法将模型计算出的丰富隐藏状态也反馈输入，使模型能在内部持续处理信息，无需逐token显式展开。在10亿参数规模下，该架构在数学、编码和语言模型评估中均有提升，额外解码成本低于1%，且性能可媲美训练数据量多约两倍的模型。这为优化大模型推理效率和内部表征利用提供了新思路。