Repository navigation
Releases: evaldock/EvalDock
Release list
EvalDock v0.1.2 — 报告 Trace 修复测试版
只需下载这个安装包,打开后拖入「应用程序」。
EvalDock v0.1.2 Mac App
本版为 Mac App 公开测试版,适用于 macOS 13 或更新版本、搭载 Apple M 系列芯片的 Mac。当前使用临时(ad-hoc)签名,尚未使用 Developer ID 发行证书签名或完成 Apple 公证;首次打开可能被 macOS 拦截。正式发行仍待签名、公证和干净系统安装验收完成。
本版修复
修复桌面 HTML 报告中的 Trace 一直停留在加载状态的问题。报告现在能显示事件统计、工具调用和展开后的证据;报告窗口仍使用独立临时会话,只允许读取当前报告与证据,保留对评测控制接口、外部请求和交付文件脚本的限制。修复来自 c7ddd4c02868bfcd94d16f92e32ea85546e53a47。
此前 v0.1.1 基于 e1d6dda,不包含这项修复。已安装 v0.1.1 的用户请手动下载本版并替换应用,原工作空间继续保留。
下载与安装
下载本发布页附件中的 EvalDock-0.1.2-arm64.dmg,打开后将 EvalDock 拖到「Applications(应用程序)」文件夹。首次使用不需要下载源码、安装 Node.js 或运行终端命令;应用已包含 EvalDock 所需的运行时。Intel Mac、Windows 和 Linux 不在本次发行范围内。
如果 macOS 因开发者未验证而阻止打开,请先确认文件来自本项目发布页,再到「系统设置 → 隐私与安全性」查看 EvalDock 的拦截提示,并按系统提示选择「仍要打开」。无需关闭系统安全保护。
干净的初始状态
- 本地题库、Agent 配置和评测记录均为空,不附演示题、真实题库、报告或 Trace。
- 不包含开发者的账号、模型密钥、个人配置或运行数据。
- 模型、Agent 和题库由用户在自己的机器上配置;重装或升级保留已有数据,因此已有用户打开后仍会看到自己的历史记录。
开始使用
- 在「设置」填写 Planner / Judge 的模型、API 接口和密钥。CLI Agent 需要的被测模型配置按页面提示另行填写。模型调用可能产生费用。
- 自行安装并登录要测试的 Agent,在「我的 Agent」扫描、接入并检查连接。发现安装不代表已经可评测。
- 在「测试集」下载所需的公开题目,或导入完整题库文件夹 / ZIP。下载与执行所需的网络、账号、Python、浏览器和其他外部工具仍需自行准备。
- 点击「开始评测」,建议先选择 1 道题。执行记录、交付物和已有评分报告可在「评测记录」查看。
评分与用户数据
公开题目缺少授权评分参考时保持不可评分(UNASSESSABLE),不会将其记为零分。Agent 执行完成与 Judge 评分完成分别记录;当前安装包检查不代表所有 Agent 和题目均已完成真实评测验收。
配置、题库和结果保存在用户本机。导入完整题库会切换当前题库,旧题库自动备份;安装新版本会保留已有工作空间。临时签名版本通过发布页手动更新,自动更新尚未完成正式发行验收。
更多说明见 Mac 应用使用指南与 Agent 支持情况。只需下载本页的 DMG 安装包;下面的 Source code 是供开发者使用的源码。
验证信息
- 本机和开发虚拟机分别通过 351 项契约测试、5 项 Python 测试及 4 项模型设置测试。
- 源码 CI:本次提交检查。
- DMG 只读挂载、1,445 个资源审计、安装副本签名完整性检查及空工作空间启动/退出通过。安装包实际入口与上述源码提交一致。
- 安装副本读取已有报告,实际显示 37 条事件、18 次工具调用,证据展开正常;报告访问评测控制接口和外网被拦截,原记录文件摘要未变。
- 本轮未新增真实 Agent 任务、模型调用或真实题目下载。隔离数据目录验收不等于新 macOS 系统用户验收;Developer ID、公证及正式自动更新仍未验收。
EvalDock v0.1.1 — 已由 v0.1.2 替代
已有修复版本:下载 v0.1.2。 本版 v0.1.1 基于
e1d6dda,不包含后续c7ddd4c的 HTML 报告 Trace 加载修复。旧安装包及其源码、摘要保留供追溯;请使用 v0.1.2。
EvalDock v0.1.1 Mac App
本版为 Mac App 公开测试版,适用于搭载 Apple M 系列芯片的 Mac。当前使用临时(ad-hoc)签名,尚未使用 Developer ID 发行证书签名或完成 Apple 公证;首次打开可能被 macOS 拦截。正式发行仍待签名、公证和干净系统安装验收完成。
下载与安装
下载本发布页附件中的 EvalDock-0.1.1-arm64.dmg,打开后将 EvalDock 拖到「Applications(应用程序)」文件夹。首次使用不需要下载源码、安装 Node.js 或运行终端命令;应用已包含 EvalDock 所需的运行时。Intel Mac、Windows 和 Linux 不在本次发行范围内。
如果 macOS 因开发者未验证而阻止打开,请先确认文件来自本项目发布页,再到「系统设置 → 隐私与安全性」查看 EvalDock 的拦截提示,并按系统提示选择「仍要打开」。无需关闭系统安全保护。
干净的初始状态
- 本地题库、Agent 配置和评测记录均为空,不附演示题、真实题库、报告或 Trace。
- 不包含开发者的账号、模型密钥、个人配置或运行数据。
- 模型、Agent 和题库由用户在自己的机器上配置;重装或升级保留已有数据,因此已有用户打开后仍会看到自己的历史记录。
开始使用
- 在「设置」填写 Planner / Judge 的模型、API 接口和密钥。CLI Agent 需要的被测模型配置按页面提示另行填写。模型调用可能产生费用。
- 自行安装并登录要测试的 Agent,在「我的 Agent」扫描、接入并检查连接。发现安装不代表已经可评测。
- 在「测试集」下载所需的公开题目,或导入完整题库文件夹 / ZIP。下载与执行所需的网络、账号、Python、浏览器和其他外部工具仍需自行准备。
- 点击「开始评测」,建议先选择 1 道题。执行记录、交付物和已有评分报告可在「评测记录」查看。
评分与用户数据
公开题目缺少授权评分参考时保持不可评分(UNASSESSABLE),不会将其记为零分。Agent 执行完成与 Judge 评分完成分别记录;当前安装包检查不代表所有 Agent 和题目均已完成真实评测验收。
配置、题库和结果保存在用户本机。导入完整题库会切换当前题库,旧题库自动备份;安装新版本会保留已有工作空间。临时签名版本通过发布页手动更新,自动更新尚未完成正式发行验收。
更多说明见 Mac 应用使用指南与 Agent 支持情况。校验下载文件时,使用同一发布页的 SHA256SUMS;COMMIT.txt 标识对应源码提交。
本次验证
- 安装包要求 macOS 13 或更新版本、Apple Silicon。
- 本机和开发虚拟机分别通过 350 项契约测试、5 项 Python 测试及 4 项模型设置测试。
- 对应源码 CI 已通过。
- 实际 DMG 只读挂载、1,445 个资源审计、复制安装后的签名完整性检查通过;首次打开的题库、Agent 配置、历史和模型密钥为空。
- 安装副本实际页面显示 0 道测试题、0 条评测记录,正常退出并停止后台。隔离数据目录验收不等于新 macOS 系统用户验收;未运行真实 Agent 或模型评测。