Jeremy发布开放式代码基准测试项目 Jcode bench

摘要与判断

Jeremy发布Jcode bench，称其是首个开放且难以污染的代码基准，针对私有基准难以信任、公开基准易被针对优化、评分粗糙及难以区分前沿与中端模型等问题，采用围绕参考实现持续优化的评测方式。该项目还支持审计任务与运行记录，并可在评测数据可能被训练后生成新任务，有望为模型编码能力提供更连续的比较信号。

Topics

引用和原文

• Today I'm fixing benchmarks with Jcode bench! Jcode bench is the first open and uncontamin
• 原文链接

Trace

Raw Item

raw_358f6eafed184dff

Processed Item

processed_278c1808c9b444bc

Source

source_x_ycombinator

Cluster

查看所属簇

LLM Logs

llm_ce07a76b9a184f35, llm_fac2fbbc96384fae, llm_a2faf821d2f34c7c

Coze Loop

a66341e9a16ee023d9a706cfeb1d5b66