Harness-IF 论文：剔除巧合后前沿模型遵循规则准确率普遍下降

摘要与判断

Harness-IF 论文提出了一种新方法，通过执行证据和移除规则重跑任务，来评估编码智能体是否真正遵循了规则而非出于默认行为。在对 12 个前沿模型的测试中发现，剔除巧合因素后，所有模型的准确率均下降了 3.6 至 7.4 分，且系统提示、项目文件和用户指令的优先级高于工具和技能描述。该研究为更准确地评估和优化 AI 智能体的指令遵循能力提供了新的视角和量化依据。

Topics

引用和原文

• If you write rules in an AGENTS.md, this one is worth your time. When a coding agent follo
• 原文链接

Trace

Raw Item

raw_22ec1ff9b92043a6

Processed Item

processed_591c51df7aea42fe

Source

source_x_feishu_candidate_omarsar0

Cluster

查看所属簇

LLM Logs

llm_956d38feacb34386, llm_ea436f46cd9d4e2d, llm_58785ae8d2554d6b

Coze Loop

b35d2f82de38b3cc984e7783dabcb1ba