Harness-IF 论文揭示编码智能体遵循规则的真实表现

摘要与判断

Harness-IF 论文提出了一种新方法，通过剔除模型默认行为的巧合，评估编码智能体遵循规则的真实能力。在对 12 个前沿模型的测试中发现，剔除巧合后模型准确率普遍下降 3.6 至 7.4 个百分点，且系统提示和用户指令的优先级高于工具描述，这为优化智能体提示词策略提供了实证参考。

Topics

引用和原文

• If you write rules in an AGENTS.md, this one is worth your time. When a coding agent follo
• 原文链接

Trace

Raw Item

raw_95790ed5d2a347be

Processed Item

processed_20dcf14c00e34083

Source

source_x_feishu_candidate_dair_ai

Cluster

查看所属簇

LLM Logs

llm_b896ccc2cc8a42ce, llm_1741d1032cb242ab, llm_ef5e88bd71d34b02

Coze Loop

fd1ce23f9a15ff6b2b4f391a553045dc