Harness-IF 论文提出了一种新方法，通过剔除模型默认行为的巧合，评估编码智能体遵循规则的真实能力。在对 12 个前沿模型的测试中发现，剔除巧合后模型准确率普遍下降 3.6 至 7.4 个百分点，且系统提示和用户指令的优先级高于工具描述，这为优化智能体提示词策略提供了实证参考。
Harness-IF 论文提出了一种新方法，通过剔除模型默认行为的巧合，评估编码智能体遵循规则的真实能力。在对 12 个前沿模型的测试中发现，剔除巧合后模型准确率普遍下降 3.6 至 7.4 个百分点，且系统提示和用户指令的优先级高于工具描述，这为优化智能体提示词策略提供了实证参考。
簇级候选：6 个已有簇， 共 10 条代表。
一项新研究提出了Harness-IF方法，通过执行证据和剔除规则重跑任务，区分编码智能体是真正遵循了规则，还是仅仅出于模型的默认行为。在对12个前沿模型的测试中发现，剔除巧合因素后，所有模型的规则遵循准确率均下降了3.6至7.4个百分点。此外，研究还发现系统提示、项目文件和用户指令的优先级高于工具和技能描述。这为评估和优化AI智能体的指令遵循能力提供了更严谨的测试基准。
Harness-IF 论文提出了一种新方法，通过执行证据和移除规则重跑任务，来评估编码智能体是否真正遵循了规则而非出于默认行为。在对 12 个前沿模型的测试中发现，剔除巧合因素后，所有模型的准确率均下降了 3.6 至 7.4 分，且系统提示、项目文件和用户指令的优先级高于工具和技能描述。该研究为更准确地评估和优化 AI 智能体的指令遵循能力提供了新的视角和量化依据。