IBM 提出 BenchDrift 方法，通过生成意义不变的基准问题变体，揭示了 AI 模型在基准测试中的得分高度依赖于问题的特定措辞。研究发现，措辞敏感性并未随模型能力提升而消失，强模型在重新措辞时损失的正确率远高于弱模型，这表明当前基准测试的排名可能被特定措辞所扭曲，提示业界需重新审视模型评估的鲁棒性。
IBM 提出 BenchDrift 方法，通过生成意义不变的基准问题变体，揭示了 AI 模型在基准测试中的得分高度依赖于问题的特定措辞。研究发现，措辞敏感性并未随模型能力提升而消失，强模型在重新措辞时损失的正确率远高于弱模型，这表明当前基准测试的排名可能被特定措辞所扭曲，提示业界需重新审视模型评估的鲁棒性。
簇级候选：7 个已有簇， 共 7 条代表。
IBM发布新研究BenchDrift，通过生成含义不变的基准问题变体，发现AI模型在测试中的得分高度依赖于问题的具体措辞。研究表明，措辞敏感性并未随模型变强而消失，强模型在面对措辞变化时损失远大于收益，且不同模型对导致错误的高成本改写表现出高度一致性。这一发现提示当前AI基准测试的得分差异可能部分源于提示词的偶然性，而非模型能力的真实差距，对客观评估大模型真实水平具有重要参考价值。
IBM 发布新研究 BenchDrift，揭示大模型在基准测试中的表现高度依赖问题措辞。研究通过生成意义不变的问题变体发现，强模型因重新措辞损失的正确率远大于收益，而弱模型则相反。这表明当前顶级模型的基准得分可能被特定措辞放大，提示业界在评估模型能力时需警惕测试集措辞带来的偏差。