Lily Zhanglowconfig v24
开发者提出防数据污染的大模型新基准测试
摘要与判断
开发者 Lily Zhang 针对大模型排行榜易被操纵及评测集污染问题，提出了名为“a burning hot cappuccino”的新基准测试。该测试受此前知名的“骑自行车的鹈鹕”测试启发，旨在规避旧测试数据被模型厂商加入后训练集而失效的风险，反映了当前大模型评测领域对数据污染问题的持续关注。
Topics
引用和原文
Trace
- Raw Item
- raw_d3ceb85f54db4a69
- Processed Item
- processed_c75e96e4f27149af
- Source
- source_x_lily_gpupoor
- LLM Logs
- llm_14c8d7e84d944738, llm_c49061499dee4d1e
- Coze Loop
- ea654742c54953cafda8dd201fdb3e52