研究人员实现极低成本从头训练模型，千美元算力在SWE-bench超越Claude 3 Haiku

摘要与判断

斯坦福AI实验室相关研究人员将nanochat框架应用于SWE-bench测试，从随机初始化权重开始训练，仅用60美元算力即达到5.0%的pass@1准确率（接近Claude 2水平），投入1000美元算力则达到11.0%（超越Claude 3 Haiku）。这一实验结果展示了极低成本从头训练代码生成模型的可行性，为开源社区和学术界探索高效模型训练提供了新的参考路径。

Topics

引用和原文

• We turned @karpathy's nanochat into a SWE-bench speedrun! ⚡ $60 of train compute → 5.0% pa
• 原文链接

Trace

Raw Item

raw_9a215dfc5c7e463d

Processed Item

processed_58f14ca56cc14432

Source

source_x_feishu_candidate_stanfordailab

Cluster

查看所属簇

LLM Logs

llm_895623b10c37487c, llm_8e4afee89dc74b2a, llm_92b542320b244feb

Coze Loop

01aaf8ec4188112420c0e367de4b0b47