新研究提出Harness-IF方法，揭示AI模型规则遵循的真实能力

摘要与判断

一项新研究提出了Harness-IF方法，通过执行证据和剔除规则重跑任务，区分编码智能体是真正遵循了规则，还是仅仅出于模型的默认行为。在对12个前沿模型的测试中发现，剔除巧合因素后，所有模型的规则遵循准确率均下降了3.6至7.4个百分点。此外，研究还发现系统提示、项目文件和用户指令的优先级高于工具和技能描述。这为评估和优化AI智能体的指令遵循能力提供了更严谨的测试基准。

Topics

引用和原文

• If you write rules in an AGENTS.md, this one is worth your time. When a coding agent follo
• 原文链接

Trace

Raw Item

raw_e55d88c10bfb48bf

Processed Item

processed_892937f170454cae

Source

source_x_feishu_candidate_omarsar0

Cluster

查看所属簇

LLM Logs

llm_098f0385fe004644, llm_2f0ba9c9cdb54593, llm_12df723e99214593

Coze Loop

7bc4481d4e7692d417a340e92ca46bbb