Repository navigation
OpenCollab-Eval 0.8.0
OpenCollab-Eval 0.8.0 与 OpenCollab 0.8.0 配套发布,依赖范围为 opencollab>=0.8,<0.9。
单代理评测通过 OC 的公共 profile 接口选择 Base,当前解析为 Single2。省略 profile 以及 base、default、single 兼容名称使用同一映射,显式 single2 继续可用。命令行接受注册实现名,配置、生成指标与远端结果匹配保存实际 profile。旧记录保留原有归属,旧 Single 专用包装与独立执行分支已移除。
Duo 从 OC 的公共内置工作流入口调用。oc-eval duo 使用唯一的 duo 工作流并默认选择 Base,oc-eval g22 保留为同一命令的别名。裁决读取完整文件证据。OCE 继续负责题面、环境准备、候选采集、隐藏测试隔离和正式评分。0.7.1 阶段准备的 Duo 接入改动一并包含在此版本中。
发布提交为 63713a0,配套 OC 提交为 6279e71b55bb492d35ce15de3a3cdd6ec9dbf53b。源码包从该提交构建,wheel 从源码包重建。附件包含 sdist、wheel 和沿用的 SHA256SUMS。
PR 检查覆盖 Python 3.10 至 3.12、源码与已安装 wheel 测试、公共接口和确定性 SWE 端到端评测。本次构建的配套 wheel 在 macOS 独立安装环境运行通过 3527 项测试,30 项按环境条件跳过,版本依赖与 CLI 检查通过。