OpenCollab-Eval 0.9.2 — Release-Ready Preview

OpenCollab-Eval 0.9.2 已发布，与 OpenCollab 0.9.2 配套使用。

批次执行为每个任务与实验配置保留对应的 run id，并贯穿清单、生成结果和运行轨迹，便于连接评测记录。

中英文使用文档围绕安装、准备输入、执行本地任务和读取结果重新整理，补充 Chat Completions 与 Responses 的选择、Duo 工作流用法，以及已有候选的恢复和重新评分步骤。当前安装示例同步到两个 0.9.2 版本。

CI 固定使用 OpenCollab 0.9.2 发布提交，验证源码、安装后的配套 wheel 和确定性 SWE 端到端执行。发布制品包含源码归档、wheel 和 SHA256SUMS。

维护者已明确批准本次 v0.9.2 的标签保护豁免。发布使用签名的 annotated tag，GitHub 已验证标签签名，显示 Verified。标签发布后保持原有目标提交。

OpenCollab-Eval 0.9.1

OpenCollab-Eval 0.9.1 与 OpenCollab 0.9.1 配套发布，运行时依赖仍为 opencollab>=0.9,<0.10。

生成和评分现在会沿异常链保留存储耗尽、传输中断、生命周期异常和必需证据保存失败的来源，并将执行无效记为技术异常。进度观察文件读写失败时，健康的生成任务继续执行，诊断记录随结果保留。工作流首次候选保存失败后保留来源和恢复资源，批次取消时保存已经完成的结果。

Duo 完整交付的合法回退候选可以继续评分，已完成且被舍弃角色的清理异常保留在结果中。SWE-bench 的 PASS_TO_PASS 分组遵循官方允许跳过的规则，FAIL_TO_PASS 分组仍使用目标测试的实际执行结果。

Terminal 容器后端管理前台命令和输出收集任务，候选交付会等待命令真正结束，取消路径会处理所属进程组。评分入口在独立候选副本中准备任务输入，对 MIPS 任务保留旧 frame.bmp 的内容和元数据后隔离输出，对 Git Webserver 任务执行调用方提供的登录检查。准备和官方评分共享原有任务时间限制，准备失败会保留恢复证据并请求仅重跑评分。跨 Python 版本的取消回执随调用方拥有的记录保留。

OpenHands 等外部求解器准备工作区时保留预装运行依赖，证据复制失败后保留原始尝试目录。公共单 agent 评测入口接收显式系统提示和业务工具，模型诊断记录最终生效的 provider 配置。代理响应取消会及时关闭上游，并保持共享请求名额的实际归属。

监控工具通过原生 journal 恢复最新状态，发现单 agent 与 workflow 快照并保留 agent 零标识。用量报告区分未知缓存分项，汇总缓存写入并计价，按指定模型查询零匹配时保留相应语义。实验报告保留消息的原始换行，稳定计算大样本二项置信区间，无有效样本时输出标准 JSON 空值。合并预测摘要按实际导出的尝试统计后续尝试采用数。

维护者已明确授权使用已登记的 SSH 签名公钥签署 v0.9.1，并豁免此次远端标签保护配置。发布标签保持不可变。

配套 OpenCollab 提交为 9df5e816842419944dd0ac795dad81ae78132b28，与 OpenCollab v0.9.1 对应，CI 使用该完整提交验证配套行为。

发布产物由正式 main 的 source distribution 构建 wheel，版本均为 0.9.1。Python 3.12 独立安装环境的完整测试取得 4761 项通过、34 项跳过，安装后的公开 API、版本元数据和命令入口检查通过。正式 main 的 Ruff 与发布元数据定向检查也全部通过。

OpenCollab-Eval 0.9.0

OpenCollab-Eval 0.9.0 配合 OpenCollab 0.9.0 发布，将完整 ICLR 评测整合纳入正式版本。

生成层统一角色题面、公开运行配置、原生团队与协作工作流，并增加独立候选及批量生成。官方评分接入 SWE-bench 5.0.2，按具体尝试关联结果、候选和用量。

实验管理提供声明式批次、题目采样、重试与替换、任务观察及离线分析。报告保留采用结果与历史尝试的对应关系，候选提取和运行状态使用同一套公开接口。

安装依赖、远端运行环境、CI 和配套 wheel 验证统一采用 OpenCollab 0.9.x。CI 固定在 OC 0.9.0 的正式发布提交，版本边界验证覆盖旧版本拒绝、0.9.x 接受和后续未支持版本拒绝。

附件包含源码包、wheel 和 SHA256SUMS。安装时请配合 OC 0.9.0 的 wheel 使用。

维护者已要求按 OC 0.9.0 相同方式发布。本次沿用已确认的远端标签保护配置豁免，使用可验证签名标签并保持已发布标签固定。

OpenCollab-Eval 0.8.3

OpenCollab-Eval 0.8.3 配套 OpenCollab 0.8.3 验证，更新包版本、发行文档与 CI 固定提交。OCE 评测器实现沿用当前主分支，OpenCollab 兼容范围为 >=0.8,<0.9。

独立 Python 3.12 环境中的完整源码测试得到 3632 passed、20 skipped，Ruff 通过。现有安装 wheel 验证得到 3577 passed、21 skipped。已安装模块、分发包元数据和 CLI 版本均为 0.8.3。发行附件包含源码分发包、wheel 和现有流程生成的 SHA256SUMS，twine 与附件校验均通过。

维护者已批准本次 0.8.3 使用可验证签名标签发布，并豁免本次远端标签保护配置要求。发布标签保持原始指向。

签名标签 v0.8.3 指向主分支提交 ff4083dc2888fd84822171e0df8bca361812bc43。GitHub 已验证标签与提交签名，均显示 Verified。

OpenCollab-Eval 0.8.2

OpenCollab-Eval 0.8.2

OpenCollab-Eval 0.8.2 与 OpenCollab 0.8.2 配套发布，支持候选生成与正式评测。

任务提示现在包含 issue discussion hints。单体运行即使发生运行错误，指标中仍保留轨迹路径。工作流输出报错时，运行状态会记录为 stopped。容器清理采用已配置的 Docker 超时设置。相关修复见 #39。

单体与工作流生成共享默认的可选步骤上限、token 上限和 30 分钟运行超时，相关变更见 #44。批次完成状态依据非空候选 patch 判断，并保留监督进程的技术失败记录，相关修复见 #45。

两种生成路径现在以一致方式记录模型配置和 LLM 传输参数。上下文窗口记录补充了 GPT-5.6 Luna、DeepSeek V4.1 Flash 和 Qwen 3.8 Flash，相关修复见 #46。

发布附件包含源码分发包、wheel 和 SHA256SUMS。

发布提交为 27625651486a56845b7f298498715f2583fec3c4。v0.8.2 为 SSH 签名附注标签，GitHub 已验证签名有效，标签与发布提交均为 Verified。

发布前最终提交的全部 CI 检查通过。源码包、wheel 和 SHA256SUMS 已按该提交生成并核验。

配套 OpenCollab 0.8.2

维护者已批准本次 0.8.2 使用可验证签名标签发布，并豁免本次远端标签保护配置要求。发布标签保持不可变。

OpenCollab-Eval 0.8.1

OpenCollab-Eval 0.8.1 将测试按生成、评分、调度、传输、发行和端到端职责组织，测试根层由 242 个文件变为 README 与包标记两个文件。原有 3611 个用例保留，新增两项目录关闭中断的回归。

八组重复准备集中复用，Python 准备代码净减少 125 行。测试包可以复制到仓库之外运行，源码包保留完整测试，wheel 保持生产包范围。配套的完整性检查清单、脚本与文档使用新的测试路径。

发布验证发现并修复了目录描述符关闭与终止信号之间的竞态。现在先移交子目录描述符的清理责任，再关闭父描述符，保留原终止异常并正确清理当前句柄。目录类型和软链接检查保持。

测试目录说明

配套 OpenCollab 0.8.1

发布提交为 fa275ea。附件提供源码包、wheel 和 SHA256SUMS。完整源码与安装包验证通过。

维护者已明确批准沿用 0.8.0 的发布方式，使用无签名附注标签，并豁免本次标签签名与远端标签保护配置要求。发布标签保持不可变。

OpenCollab-Eval 0.8.0

OpenCollab-Eval 0.8.0 与 OpenCollab 0.8.0 配套发布，依赖范围为 opencollab>=0.8,<0.9。

单代理评测通过 OC 的公共 profile 接口选择 Base，当前解析为 Single2。省略 profile 以及 base、default、single 兼容名称使用同一映射，显式 single2 继续可用。命令行接受注册实现名，配置、生成指标与远端结果匹配保存实际 profile。旧记录保留原有归属，旧 Single 专用包装与独立执行分支已移除。

Duo 从 OC 的公共内置工作流入口调用。oc-eval duo 使用唯一的 duo 工作流并默认选择 Base，oc-eval g22 保留为同一命令的别名。裁决读取完整文件证据。OCE 继续负责题面、环境准备、候选采集、隐藏测试隔离和正式评分。0.7.1 阶段准备的 Duo 接入改动一并包含在此版本中。

发布提交为 63713a0，配套 OC 提交为 6279e71b55bb492d35ce15de3a3cdd6ec9dbf53b。源码包从该提交构建，wheel 从源码包重建。附件包含 sdist、wheel 和沿用的 SHA256SUMS。

PR 检查覆盖 Python 3.10 至 3.12、源码与已安装 wheel 测试、公共接口和确定性 SWE 端到端评测。本次构建的配套 wheel 在 macOS 独立安装环境运行通过 3527 项测试，30 项按环境条件跳过，版本依赖与 CLI 检查通过。

命令行说明

配套 OpenCollab 0.8.0

OpenCollab-Eval 0.7.0 配套预发布版

OpenCollab-Eval 0.7.0 配套预发布版

本版本与 OpenCollab 0.7.0 配套使用，依赖范围为 opencollab>=0.7.0,<0.8。项目当前处于 Alpha 阶段，此次通过 GitHub prerelease 发布源码包和 wheel。

标准 Single 通过 OC 原生提示和 coding 工具运行。合作工作流中的专用 run_tests 工具已移除，测试通过原生 Bash 执行，评测侧保存实际命令和测试证据。机械候选对照原样执行已记录命令。

此次版本还包含公共依赖准备、Conda 激活检查、完整候选提取、失败候选保存、上下文窗口及恢复参数传递、Python 和 JavaScript 候选失败归因，以及完整角色报告交接。批量依赖操作采用工作区传输等待配置。

发布标签为 v0.7.0，对应提交为 94f990b。源码包与 wheel 从该提交构建，wheel 通过源码包重建。配套 OC 提交为 e513455a29817d335fdfa80f8ff2e988676ac3af。每份附件的校验值列于 SHA256SUMS。

验证覆盖 Python 3.10、3.11、3.12，确定性 SWE 端到端流程，以及独立安装环境中的公开接口。正式测试证据、候选身份与模型可见信息隔离继续由评测器管理。

完整更新日志

配套 OpenCollab 0.7.0

本次发布经维护者明确批准，使用未签名的 annotated Git 标签，并按当前未配置标签保护的状态发布。标签固定指向上述提交，后续修正通过新版本发布。

OpenCollab-Eval 0.5.1

OpenCollab-Eval 0.5.1

OpenCollab-Eval 0.5.1 is a GitHub prerelease. It fixes legacy per-instance
sidecar identity/digest compatibility and preserves eligible quiescent
candidates for protected-budget and provider-output-truncation stops while
keeping the proof gates strict.

Exact release identity

• Tag: v0.5.1
• Peeled commit: e98aae0206625bf1b76bfe49345afa170091c334
• The commit is the verified current main after PRs #14 and #16; all 7
  post-merge GitHub checks completed successfully.
• Compatibility: this release requires opencollab>=0.5.0,<0.6 and is paired
  with the published OpenCollab v0.5.0 (peeled SHA
  963585611ad2a1d0c1fc7f4ba0043af5a3d860bb). It is not paired with
  OpenCollab 0.6.0.

Artifacts

The attached source distribution and wheel were built from that exact commit,
passed Twine validation, the isolated Python 3.12/OC 0.5.0 installation
probe, and verify_wheel_contract.sh.

4981f1f2ab1c5137220ca19cd4bade37b631359a3eb179196f7d1fcbdc11d0dd  opencollab_eval-0.5.1.tar.gz
ef2bf845b81e163459894798623a68c1878243e059c44cf15397efec26caf54  opencollab_eval-0.5.1-py3-none-any.whl

Local full-suite evidence: 3137 passed, 16 skipped; paired wheel contract:
3079 passed, 26 skipped; release/publication tests: 12 passed.

Signing and publication note

Per the maintainer's explicit authorization for this task, this release uses
an annotated unsigned tag because no local GPG or registered SSH signing key
was available. The tag is not lightweight and must not be moved or replaced.
The GitHub Release is published as a prerelease while OpenCollab-Eval remains
Alpha. PyPI publication is not part of this release.

OpenCollab-Eval 0.5.0

OpenCollab-Eval 0.5.0

OpenCollab-Eval 0.5.0 与 OpenCollab 0.5.0 配套发布。该版本统一了运行时版本约束、安装契约和文档，并修复确定性 SWE 端到端验证的预算配置。

发布提交为 09c0432251d6d1ea2cfde3df6fe35d4885fd9ca6。配套 OpenCollab 提交为 963585611ad2a1d0c1fc7f4ba0043af5a3d860bb。

远端 CI 的 Python 3.10、3.11、3.12、安装 wheel 契约、确定性 SWE 端到端验证、Ruff、Hygiene、Security 和 Conventional Title 检查全部通过。最终本地测试为 2498 项通过和 15 项跳过。确定性端到端验证得到 1 个 resolved、0 个 technical failure，并绑定候选补丁摘要与真实 official eval 证据。

源码包 SHA-256 为 b7271d23fd20487db43f3594e5c3e77aec3650e7504993f4e751044423c1ad7d。wheel SHA-256 为 d3f7aa9cea5b70ea8acfda5f60736c3d81c230bda82acf654f65e17ba0c8ace6。

维护者已明确授权此次发布使用 unsigned annotated tag。标签 v0.5.0 固定指向上述发布提交，发布后保持不可移动。