如何避免 Benchmark 成为“记忆游戏”

[bojieli]

由 @wangzizhe 最初在 Issue #1077 中提出，为方便讨论迁移到 Discussions。

读完了第七章关于 Agent 评估的内容，有一个问题最近一直困扰着我：公开 Benchmark 如何避免被污染？

很多 LLM / Agent Benchmark 都是公开的，这样方便大家复现和比较。但长期来看，这些数据很可能进入后续模型的预训练或后训练数据中，评测也可能逐渐从“能力测试”变成“记忆测试”。

我自己也遇到了这个问题。我在物理建模领域构造了一个面向 Agent 的评测数据集，现在不知道应该如何发布。如果开源，别人使用方便，但很快就会成为记忆游戏；如果不公开，别人又很难复现和使用。

所以想请教作者和大家：Benchmark 在开放性和防污染之间，如何获得最大平衡？
也想听听对未来评测方式的看法。

PS：我目前想到的一种方法，是把数据集部署在服务器上，让其他人的 Agent 直接在服务器上进行评测，这样他们看不到数据集本身。但我又担心，Agent 在评测过程中仍然可能把测试数据提取出来，最终还是会造成泄漏。

[identity-wael]

我会把“可复现”和“测试题永远保密”分开设计。服务端评测能隐藏评分逻辑、标准答案和一部分环境状态，但只要 Agent 必须看到题面，题面就可能进入提交者或模型服务商的日志；托管本身不能保证不污染。

针对物理建模，我倾向于三层：

1. 公开开发集和评测协议：公开输入/输出格式、工具预算、评分方法、示例和 baseline，允许大家本地调试。
2. 私有、定期轮换的测试集：按物理机制/建模任务族划分留出集，而不只是给同一个公式换随机数。换参数可以测数值泛化，但不能充分测建模泛化。
3. 到期公开的版本化测试集：每轮公布数据、环境版本和可审计的执行轨迹；榜单分数标记具体测试集版本，下一轮换新留出集。这样旧结果可以复现，新结果仍有独立性。

物理问题还适合加入自动验证：量纲一致性、守恒量、边界条件、极限情形，以及未暴露给 Agent 的参数点上的仿真误差。只匹配最终表达式字符串会漏掉数学等价解，也容易变成答案记忆。

服务端另外限制提交次数和反馈粒度，避免反复查询逐步拟合隐藏集；记录工具/模型版本和预算，避免把额外算力误当能力提升。动态更新的路线可以参考 LiveBench，但“定期更新”也只是降低污染风险，不是永不泄漏的证明。

这里最值得先决定的是：你要测的是“已知物理体系里的参数求解”，还是“从描述中建立新的模型”？这会直接决定留出集应该如何划分。