IBM新研究BenchDrift：大模型基准测试得分高度依赖问题措辞

摘要与判断

IBM 发布新研究 BenchDrift，揭示大模型在基准测试中的表现高度依赖问题措辞。研究通过生成意义不变的问题变体发现，强模型因重新措辞损失的正确率远大于收益，而弱模型则相反。这表明当前顶级模型的基准得分可能被特定措辞放大，提示业界在评估模型能力时需警惕测试集措辞带来的偏差。

Topics

引用和原文

• Interesting new research from IBM. If you pick models from benchmark deltas, some of that
• 原文链接

Trace

Raw Item

raw_bf2a87a26f3d4847

Processed Item

processed_9f1d8746575c429e

Source

source_x_feishu_candidate_omarsar0

Cluster

查看所属簇

LLM Logs

llm_e13e27db8e91415a, llm_eb9b4ba4a6014807, llm_bf086a3dfaf3444f

Coze Loop

2568d6e3d00b7662addc95f023ab68b2