Skip to content

OpenCollab-Eval 0.9.1

Choose a tag to compare

@KaiEureka KaiEureka released this 04 Oct 18:20
· 10 commits to main since this release
v0.9.1
55a38a0

OpenCollab-Eval 0.9.1 与 OpenCollab 0.9.1 配套发布,运行时依赖仍为 opencollab>=0.9,<0.10。

生成和评分现在会沿异常链保留存储耗尽、传输中断、生命周期异常和必需证据保存失败的来源,并将执行无效记为技术异常。进度观察文件读写失败时,健康的生成任务继续执行,诊断记录随结果保留。工作流首次候选保存失败后保留来源和恢复资源,批次取消时保存已经完成的结果。

Duo 完整交付的合法回退候选可以继续评分,已完成且被舍弃角色的清理异常保留在结果中。SWE-bench 的 PASS_TO_PASS 分组遵循官方允许跳过的规则,FAIL_TO_PASS 分组仍使用目标测试的实际执行结果。

Terminal 容器后端管理前台命令和输出收集任务,候选交付会等待命令真正结束,取消路径会处理所属进程组。评分入口在独立候选副本中准备任务输入,对 MIPS 任务保留旧 frame.bmp 的内容和元数据后隔离输出,对 Git Webserver 任务执行调用方提供的登录检查。准备和官方评分共享原有任务时间限制,准备失败会保留恢复证据并请求仅重跑评分。跨 Python 版本的取消回执随调用方拥有的记录保留。

OpenHands 等外部求解器准备工作区时保留预装运行依赖,证据复制失败后保留原始尝试目录。公共单 agent 评测入口接收显式系统提示和业务工具,模型诊断记录最终生效的 provider 配置。代理响应取消会及时关闭上游,并保持共享请求名额的实际归属。

监控工具通过原生 journal 恢复最新状态,发现单 agent 与 workflow 快照并保留 agent 零标识。用量报告区分未知缓存分项,汇总缓存写入并计价,按指定模型查询零匹配时保留相应语义。实验报告保留消息的原始换行,稳定计算大样本二项置信区间,无有效样本时输出标准 JSON 空值。合并预测摘要按实际导出的尝试统计后续尝试采用数。

维护者已明确授权使用已登记的 SSH 签名公钥签署 v0.9.1,并豁免此次远端标签保护配置。发布标签保持不可变。

配套 OpenCollab 提交为 9df5e816842419944dd0ac795dad81ae78132b28,与 OpenCollab v0.9.1 对应,CI 使用该完整提交验证配套行为。

发布产物由正式 main 的 source distribution 构建 wheel,版本均为 0.9.1。Python 3.12 独立安装环境的完整测试取得 4761 项通过、34 项跳过,安装后的公开 API、版本元数据和命令入口检查通过。正式 main 的 Ruff 与发布元数据定向检查也全部通过。