Skip to content

feat: add comparison result insights#62

Merged
Calvin1989 merged 1 commit into
mainfrom
feature/v1.8.0-alpha.2-result-insights
Jun 2, 2026
Merged

feat: add comparison result insights#62
Calvin1989 merged 1 commit into
mainfrom
feature/v1.8.0-alpha.2-result-insights

Conversation

@Calvin1989
Copy link
Copy Markdown
Owner

摘要

本 PR 实现 v1.8.0-alpha.2:Result insight cards and comparison highlights。

在 v1.8.0-alpha.1 已完成 job event timeline and runtime diagnostics 的基础上,本 PR 为 comparison 增加结果洞察能力,帮助用户快速识别最佳准确率、最低损失、最低 ASR,以及推荐实验、trade-off 和风险提示。

变更内容

  • 新增 compute_comparison_insights() 函数,从已有指标中计算洞察。
  • 识别 best accuracy、lowest loss、lowest ASR。
  • 增加 winner / recommended job 和推荐原因。
  • 增加 trade-off summary(权衡分析)。
  • 增加 risk hint(风险提示),高 ASR 实验会被标记。
  • comparison report(comparison.html.j2)新增结果洞察 section。
  • 首页 comparison UX 新增 result insight cards。
  • insights 写入 comparison.json,持久化可用。
  • POST /comparisons API 返回 insights。
  • 缺失指标时友好降级,不报错。
  • 保持中文 / English 双语。
  • 扩展 regression tests(TestComparisonInsights,13 个测试)。
  • 更新 CHANGELOG.md 和 docs/roadmap.md。

验证

已在本地完成:

  • python -m ruff check . (passed)
  • python quick_test.py (passed)
  • python -m pytest (34 passed)
  • cd web; npm run build (passed)
  • python api_smoke_test.py (passed)

Docker smoke 未执行(Docker daemon 未运行),已在 alpha.1 中验证过基础流程。

说明

  • 不新增依赖。
  • 不修改训练核心算法。
  • 不改变现有 comparison artifact 路径。
  • 不破坏已有 comparison JSON 字段(只新增 insights)。
  • 不创建 tag。
  • 合并后再从 main merge commit 打 v1.8.0-alpha.2 tag。

@Calvin1989 Calvin1989 merged commit 30f449f into main Jun 2, 2026
1 check passed
@Calvin1989 Calvin1989 deleted the feature/v1.8.0-alpha.2-result-insights branch June 2, 2026 02:07
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant