Skip to content

EvalDock v0.1.1 — 已由 v0.1.2 替代

Pre-release
Pre-release

Choose a tag to compare

@Aqua-ava Aqua-ava released this 15 Oct 06:46

已有修复版本:下载 v0.1.2。 本版 v0.1.1 基于 e1d6dda,不包含后续 c7ddd4c 的 HTML 报告 Trace 加载修复。旧安装包及其源码、摘要保留供追溯;请使用 v0.1.2。

EvalDock v0.1.1 Mac App

本版为 Mac App 公开测试版,适用于搭载 Apple M 系列芯片的 Mac。当前使用临时(ad-hoc)签名,尚未使用 Developer ID 发行证书签名或完成 Apple 公证;首次打开可能被 macOS 拦截。正式发行仍待签名、公证和干净系统安装验收完成。

下载与安装

下载本发布页附件中的 EvalDock-0.1.1-arm64.dmg,打开后将 EvalDock 拖到「Applications(应用程序)」文件夹。首次使用不需要下载源码、安装 Node.js 或运行终端命令;应用已包含 EvalDock 所需的运行时。Intel Mac、Windows 和 Linux 不在本次发行范围内。

如果 macOS 因开发者未验证而阻止打开,请先确认文件来自本项目发布页,再到「系统设置 → 隐私与安全性」查看 EvalDock 的拦截提示,并按系统提示选择「仍要打开」。无需关闭系统安全保护。

干净的初始状态

  • 本地题库、Agent 配置和评测记录均为空,不附演示题、真实题库、报告或 Trace。
  • 不包含开发者的账号、模型密钥、个人配置或运行数据。
  • 模型、Agent 和题库由用户在自己的机器上配置;重装或升级保留已有数据,因此已有用户打开后仍会看到自己的历史记录。

开始使用

  1. 在「设置」填写 Planner / Judge 的模型、API 接口和密钥。CLI Agent 需要的被测模型配置按页面提示另行填写。模型调用可能产生费用。
  2. 自行安装并登录要测试的 Agent,在「我的 Agent」扫描、接入并检查连接。发现安装不代表已经可评测。
  3. 在「测试集」下载所需的公开题目,或导入完整题库文件夹 / ZIP。下载与执行所需的网络、账号、Python、浏览器和其他外部工具仍需自行准备。
  4. 点击「开始评测」,建议先选择 1 道题。执行记录、交付物和已有评分报告可在「评测记录」查看。

评分与用户数据

公开题目缺少授权评分参考时保持不可评分(UNASSESSABLE),不会将其记为零分。Agent 执行完成与 Judge 评分完成分别记录;当前安装包检查不代表所有 Agent 和题目均已完成真实评测验收。

配置、题库和结果保存在用户本机。导入完整题库会切换当前题库,旧题库自动备份;安装新版本会保留已有工作空间。临时签名版本通过发布页手动更新,自动更新尚未完成正式发行验收。

更多说明见 Mac 应用使用指南与 Agent 支持情况。校验下载文件时,使用同一发布页的 SHA256SUMS;COMMIT.txt 标识对应源码提交。

本次验证

  • 安装包要求 macOS 13 或更新版本、Apple Silicon。
  • 本机和开发虚拟机分别通过 350 项契约测试、5 项 Python 测试及 4 项模型设置测试。
  • 对应源码 CI 已通过。
  • 实际 DMG 只读挂载、1,445 个资源审计、复制安装后的签名完整性检查通过;首次打开的题库、Agent 配置、历史和模型密钥为空。
  • 安装副本实际页面显示 0 道测试题、0 条评测记录,正常退出并停止后台。隔离数据目录验收不等于新 macOS 系统用户验收;未运行真实 Agent 或模型评测。