自动化 AI 研究基准被指在长时运行下仍持续提升

摘要与判断

围绕改造版 nanoGPT speedrun 的自动化 AI 研究实验，发帖者称模型在超过 400 分钟后仍继续改进，代理还能连续运行数天；他同时认为代码优化与“研究”能力的差异，部分来自当前基准对 optimizer track 与 research track 的任务设定。这个判断直接关系到 AI 评测与开发者生态，因为它意味着前沿模型的自动化研究能力可能被现有基准低估，评测设计和约束条件会影响模型真实能力的呈现。

Topics

引用和原文

• working on something very similar, very excited to see this in gpt 5.6 system card. we kep
• 原文链接

Trace

Raw Item

raw_86f80250d1c74455

Processed Item

processed_574cd54196eb4e13

Source

source_x_feishu_candidate_eliebakouch

LLM Logs

llm_ce82dec3d6814a49, llm_33fa8c9f81fa4f86, llm_3a241d21dcd94760

Coze Loop

ecf0888d18149911868297d276de9a94