本机运行的模型评测平台，当前以售后客服场景为基础：完整对话阅读、Agent Trace、图文模型对比、转人工拦截指标、人工复核与同批重跑。
可体验同一案例的答复对照、标签诊断说明、多轮对话测试树编辑与本浏览器草稿保存。所有场景和答复均为人工编写的示例，不是真实客户记录、模型生成结果或实测分数。
线上链接是静态交互体验，不是完整云端评测服务。 不接收 API Key、不导入客户数据、不调用模型。真实 API 评测、数据导入与运行记录需要在下述本机完整版中使用；不能直接将未鉴权的本机服务开放到公网。见 线上发布与更新。
「模型运营」聚焦售后客服：查看真实模型连接、当前项目的实际评测批次、答复与失败记录、裁判复核提示和 Trace，并进入拦截 / 填单、质检和 DSAT 大盘。不自动调用模型，不将离线成绩冒充线上效果；未接通的生产发布能力不展示为可用。
「项目集」是平台级入口，每张卡片对应一个实际导入的业务项目，售后客服不是平台名称。现有行为基线和转人工拦截指标面向售后场景；其他业务需另行准备数据、规则与评测标准，不能直接套用售后结论。
这是不含客户数据的源码发布版。 首次启动没有真实售后项目、已训练版本或外部模型成绩；不包含原工作区的数据库、客户图片、训练模型、密钥和历史分数。自建校验图文需在页面主动创建，不冒充客户数据。
-
项目案例页提供八类人工标签分布、覆盖率及未标注定位；点击标签与完整对话列表联动，支持多维筛选、跨页统计和返回保留条件，不自动补造缺失标注。
-
售后客服模型运营：连接模型 → 真实案例评测 → 答复 / 失败筛查 → Trace 与原始会话核对。按项目、批次读取实际结果，排除本地基线，不展示假发布操作。
-
文本页直接选择模型A/B、添加连接并弹窗输入Key；新建同批对比与查看已有结果分开。
-
使用同一图片、问题和政策，对比不同厂商，或同厂商两个不同模型版本。
-
结果大盘提供质检复核环图、动态模型曲线、意图树与DSAT证据归因；实验支持搜索、收藏、归档与恢复。
-
支持 OpenAI / Anthropic / DeepSeek 官方接口，密钥在弹窗输入，只存本机服务内存；视觉模型必须先通过真实图像读取测试。
-
记录图片指纹、模型调用、路由建议、裁判证据和人工修订，支持 Trace 追溯。
-
展示有效拦截率、错误拦截、必要转人工召回、视觉正确率、评审覆盖、失败和未执行数量。
-
按数量或手动选择案例重跑，原批次不覆盖；比较只接受相同案例与评测条件。
-
导入获授权、已脱敏的完整文本对话后，可训练本地行为分类器并查看版本差异；不是大语言模型微调。
依赖：Node.js 22.12+；Python 3.9–3.12。图文 OCR 使用 macOS Vision，需要 macOS 与 Xcode Command Line Tools。其他系统可浏览页面和使用兼容功能，但图片扫描不可用时会阻止导入和调用，不绕过隐私门禁。
npm ci
npm run build
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
npm start打开 http://127.0.0.1:4287/#compare?mode=vision。仅监听本机回环地址，不要直接开放到公网。
自由文本保存、图片导入和外部调用需要本机兼容 DLP 扫描器。默认检查本机 Codex DLP 安装；也可设置 EVAL_DLP_PATH 指向已审核的扫描程序。扫描器及其私有策略不包含在仓库里。
EVAL_DLP_PATH=/absolute/path/to/dlp npm start接口要求见 安全说明。没有扫描器时，页面可打开，但受保护操作会拒绝执行。不能配置一个无条件返回通过的脚本来跳过检查。
打开 http://127.0.0.1:4287/#modelops 可读取已有模型连接与售后评测记录；无项目或无运行时显示空状态，不补造数字。首次实测需导入授权且脱敏的数据、连接模型并确认调用范围。见 售后客服模型运营说明。
- 在「模型对比」切换到「图文与转人工拦截」。
- 添加获授权的脱敏真实图片，或准备24个已审核公开板卡案例，合并为4个不同外观封面。图库每行3格、每页最多9组，近似板卡和完全同图不重复铺图；原案例在详情切换。也可选择4个自建校验案例。三种来源不混跑，公开素材保留署名与许可。
- 点击「添加模型 / 输入 Key」，创建两个不同模型 ID 的连接。分别授权并通过「测试图像读取」。此步骤和之后的模型运行可能收费。
- 选择同一个裁判，或保持人工复核；选案例数量，核对发送范围并授权运行。
- 看拦截大盘与逐例回复，打开 Trace，人工复核，再按数量重跑或比较。
密钥只在密码框输入，切勿写入代码、提交、截图、Issue 或聊天。服务重启后需重新连接。
有效拦截率（离线评审）要求：标准路由可自助解决、候选直接答复，并且看图、政策合规、解决需求三项全部通过。分母是本批全部选定案例；失败和待评不算成功。
没有转人工不等于问题解决。明确人工诉求、安全风险和权限不足应当升级；错误拦截必须单独看。线上真实拦截率尚未测量，需要完整会话、用户解决确认、实际转接、重复联系和观察窗口。这里不是闭环多轮用户模拟，不执行真实退款、派单或人工转接，暂不评测音频和视频。
npm run build
node --test tests/lab-navigation.test.ts tests/comparison-selection.test.ts
.venv/bin/python -m unittest discover -s tests -p test_multimodal.py -v
.venv/bin/python -m unittest discover -s tests -v部分测试依赖本机 DLP 模块。全量测试中保留一个已知的固定日期排序测试问题，详见发布检查；不宣称所有历史测试都已通过。外部供应商在线验收需要使用者提供密钥并明确授权，协议替身测试不能当成真实模型成绩。
React / TypeScript / Vite 前端，Python HTTP 服务，SQLite 本地存储。data/ 在运行时创建并被 Git 忽略；EVAL_DATA_DIR 和 EVAL_MODEL_DIR 可指定其他本机目录。scripts/open_workspace.py 用于 macOS 后台启动，未实现开机自启。
没有多用户鉴权、租户隔离、数据库加密、生产审计签名或生产安全加固。仓库私有也不意味着允许上传客户数据。自动规则未发现明确敏感项不保证绝对安全。