大模型评测基准解读：GPT-6 发布里的这些指标到底在测什么？

[ikaijua]

GPT-6 Astra 发布（深入解读）里出现了大量基准测试（benchmark）。这些名字看着眼花缭乱，但其实各自测量的能力维度完全不同。本文把这些指标汇总成一张表，帮助大家在看模型发布时快速判断「这个分数的含金量」；点击指标名可跳转到对应评论查看详细解读。

指标速览

指标（GPT-6 Astra 得分）	类别	推出时间	出品方	测什么	看点与注意	数值说明
Terminal-Bench 4.0（57.7%）	编程与终端	2025-04	Laude Institute × 斯坦福（开源）	模型接入真实终端沙箱，自主执行命令完成编译、部署、系统管理、安全修复，以最终状态判分	测的不是「写代码」而是「操作计算机」，直接反映 Agent 能不能在真实机器上干活	0–100% 通过率；头部刚跨过 55%（Sol 仅 37.3%），远未解决
DeepSWE v1.1（74.1%）	编程与终端	2026-05	Datacurve（AI 数据基础设施初创）	113 个原创长程任务，覆盖 91 个开源仓库、5 种语言；任务从零编写、测试手写，防污染是其相对 SWE-bench 的最大优势	更贴近「让 AI 独立接需求并交付」，是 Coding Agent 产品的核心参考	0–100% Pass@1；113 题样本，1 题≈0.9pt，前排 2-3 点差意义有限（Sol 72.7%）
ARC-AGI-3（99.9%）	推理与科学	2026-03（系列始于 2019）	ARC Prize Foundation（Chollet 与 Mike Knoop 创办的非营利）	把模型扔进从未见过的二维游戏，不给规则说明，靠试探、观察反馈、归纳规则通关	测「流体智力」而非记忆；Sol 7.8% → Astra 99.9% 的单代跃迁历史罕见	0–100% 通关得分率；注意 Astra 成绩含 Harness 框架增益，非裸模型分
FrontierMath Tier 4 v2（97.6%）	推理与科学	2024-11	Epoch AI（独立 AI 研究机构）	数学家（含 IMO 金牌得主）原创的不公开前沿难题，答案唯一可自动验证，防污染	Tier 4 为最高难度档（研究前沿级）	0–100% 正确率；97.6% 已接近天花板，区分度将下降
GPQA Diamond（96%）	推理与科学	2023-11	纽约大学等高校	博士出题的研究生级理化生问答，「Google 也搜不到答案」，Diamond 为 198 题精选子集	已实质饱和：头部全部 95%+，198 题里 1 题≈0.5pt，别再拿它区分前沿模型	0–100% 选择题正确率；随机约 25%，人类专家约 65–74%
OSWorld 2.0（72.6%）	Computer Use 与 Agent	2024（2.0 于 2026）	港大等高校（开源）	真实虚拟机（Ubuntu/Windows/macOS）里看屏幕截图、用鼠标键盘操作真实软件，以系统最终状态自动判分	Computer Use 最直接的量化指标；Astra 耗时比上代减半（40 vs 75 分钟）是「能干活」的完整信号	0–100% 任务成功率
Agents' Last Exam（59.3%）	Computer Use 与 Agent	2026-06	UC Berkeley RDI + 250+ 行业专家	按真实劳动力市场设计的长流程任务，覆盖 55 个子行业、1500+ 任务（目标 5000），全部来自专家真实完成过的项目（如 CAM 加工路径、2D 蓝图转 3D、视频合成、游戏复刻），按最终交付物判分	分数可直接翻译成「AI 能替代多少真实数字劳动」；living benchmark 持续扩充	0–100% 交付物达标率；2026-06 发布时最难档前沿模型不足 1%
AutomationBench（41.4%）	Computer Use 与 Agent	2026-02	Zapier（自动化工作流平台）	657 个真实业务工作流任务，跨 SaaS 应用通过 REST API 编排数据流	「AI 员工」叙事最实的尺子；同时呈现 API 成本，完成率×成本才是真实可用性	0–100% 完成率；Sol 18.1% → Astra 41.4%，刚跨过部分可用门槛
ExploitBench / ExploitGym（100% / 42.4%）	网络安全	2026-05	卡内基梅隆大学（CMU）等	漏洞利用能力阶梯：16 个可测量阶段（从触发崩溃到任意代码执行），41 个真实 V8 CVE	Astra 满分 + 自主发现 2 个 V8 零日，触发 OpenAI 史上首个网络安全 Critical 等级	0–100% 阶梯完成比例；满分意味着该榜对 Astra 已无区分度
HealthBench Professional（63.4%）	专业领域	2025-05	OpenAI（联合执业医生）	临床场景开放式医学问答，按医生制定的 rubric 逐条评分并做长度校正	原版已饱和（96 分挤作一团），认准 Professional 口径；注意是 OpenAI 自家评测	0–100 长度校正分，超长回答罚分
BenchCAD（95.9%）	专业领域	2026-05	学术界（arXiv 开源）	看机械零件图写出可执行的 CAD 代码；17,900 个执行验证的 CadQuery 程序、106 个工业零件族	多模态理解 + 空间推理 + 代码生成三合一，对应真实工业设计场景	0–100% 执行验证正确率，代码能真正重建出几何体才算分

看榜单的三个提醒

1. 饱和失真：GPQA 这类榜单头部模型都在 95%+，1 个点的差距基本没有意义；真正有信息量的是 ARC-AGI-3、AutomationBench 这类还在快速爬坡的新榜单。
2. Harness 增益：同一个模型在不同运行框架（工具、记忆、重试策略）下成绩可以差很多，注意分数是否包含框架加成。
3. 单价≠总成本：Astra 单价是 Sol 的 2.5 倍，但任务耗时减半、返工更少——评估模型时应该看「完成一项任务的总成本」，而不是每百万 token 价格。

相关链接：

• 深入解读 GPT-6 Astra
• Terminal-Bench 官网
• AutomationBench (Zapier)
• BenchCAD
• ARC-AGI
• FrontierMath (Epoch AI)

tag: AI洞察

[ikaijua]

Terminal-Bench 4.0 详解

测什么：AI 在真实终端（命令行）环境里完成任务的能力。注意它测的不是「写代码」，而是「操作计算机」：编译代码、部署服务、系统管理、处理数据、修复安全漏洞，全部由 Agent 自主完成。

出品方：Laude Institute 与斯坦福大学团队合作开发的开源项目（官网 tbench.ai），是编码 Agent 领域最受认可的评测之一。

推出时间：2025 年 4 月首发，历经 v1 → 2.0 → 2.1 → 3.0 → 4.0 演进。

怎么测：

1. 模型被接入一个容器化终端沙箱（真实 Linux 环境）；
2. 每个任务给出目标描述，Agent 需要自主探索环境、执行命令、读取报错、迭代修复；
3. 以任务最终状态是否达标判分（Pass 率），不看中间过程。

版本演进：v1（约 100 个人工制作任务）→ 2.x（扩展到更长的工作流）→ 4.0（当前版本，任务链更长、更接近真实运维/开发场景）。另有面向科研工作流的衍生版本 Terminal-Bench Science 0.1。

当前格局：GPT-6 Astra 57.7%，Claude Fable 5.1 55.8%，GPT-5.6 Sol 37.3%。头部模型刚跨过 50%，说明真实终端任务远未解决。

局限：任务数量有限，且终端环境相对「干净」；真实企业环境里的权限、网络、遗留系统复杂度更高。

参考链接：

• 官网: Terminal-Bench

[ikaijua]

DeepSWE v1.1 详解

测什么：长程（long-horizon）软件工程能力——AI 作为自主编码 Agent，在真实代码库上持续工作：理解需求、跨多文件修改、跑测试、修 bug，最终交付可验证的代码。

出品方：Datacurve，一家 AI 数据基础设施创业公司，DeepSWE 是其首个公开产品。

推出时间：2026 年 5 月首发，现行版本为 v1.1（2026 年 7 月随 Kimi K3 入榜前后更新）。

核心设计：

1. 113 个原创任务，覆盖 91 个活跃开源仓库；
2. 5 种语言：TypeScript、Go、Python、JavaScript、Rust；
3. 防污染设计：任务全部从零编写、测试用例手写。这是它相对 SWE-bench 的最大卖点——SWE-bench 从公开 GitHub 仓库挖已合并的修复，这些修复和讨论大概率进了训练语料，高分可能部分是「背出来的」；DeepSWE 的原创任务没有这个漏洞；
4. 评分：Pass@1，Agent 在隔离环境中完成任务后由测试判定。

任务难度跨度：从基础功能扩展（如终端 ANSI 转义处理）到架构级挑战（SQL 窗口函数构建器、配置事务化重载、内存溢出控制）。

当前格局：GPT-6 Astra 74.1%，GPT-5.6 Sol 72.7%，Claude Fable 5.1 67.4%。注意前排差距不大——榜单正在变挤。

局限：113 题的样本量意味着 1 题约等于 0.9 个百分点，前排 2-3 个点的差距统计意义有限。

参考链接：

• 论文: DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks

[ikaijua]

ARC-AGI-3 详解

测什么：流体智力——面对从未见过的问题时的自主探索与规则学习能力。ARC 系列由 François Chollet（Keras 作者）发起，核心理念是「智能是在新任务上高效获取新技能的能力」，而不是记住多少知识。

出品方：ARC Prize Foundation——由 François Chollet（Keras 作者）与 Zapier 联合创始人 Mike Knoop 共同创办的非营利组织。

推出时间：系列始于 2019 年（ARC-AGI-1），ARC-AGI-2 于 2025 年发布，ARC-AGI-3 于 2026 年 3 月发布，是系列首个全交互式基准。

怎么测：

1. ARC-AGI-3 把经典的二维图形推理题升级为交互式游戏环境：不给规则说明，直接把模型扔进从未见过的二维游戏；
2. 模型必须通过试探、观察反馈、归纳规则来找到通关方法；
3. 这正是人类婴儿式的学习方式，也是 LLM 传统上最弱的环节。

为什么这次分数惊人：GPT-5.6 Sol 只有 7.8%，GPT-6 Astra 直接 99.9%——从「基本不会」到「接近满分」的单代跃迁，在整个基准历史上都罕见。

重要注意点：99.9% 是在 OpenAI Responses API Harness（含记忆管理、Agent 运行框架）下取得的。OpenAI 称该框架只做了通用性调整、未针对 ARC-AGI-3 专项优化，但严格来说这不是基础模型裸分。看横向对比时要确认其他模型是否用了同等框架。

局限：交互式评测的成本和方差都高；游戏环境与真实世界的新奇性仍有差距。

参考链接：

• ARC Prize 官网

[ikaijua]

FrontierMath Tier 4 v2 详解

测什么：研究级数学能力——不是高考题、不是竞赛题，而是数学研究前沿的问题。

出品方：Epoch AI，一家独立 AI 研究机构（以 AI 趋势与算力统计研究闻名），题目由数学研究者（包括多位 IMO 金牌得主和教授）设计并审校。

推出时间：2024 年 11 月首发，Tier 难度分档体系在后续版本中扩展。

核心设计：

1. 防污染是第一位：题目全部原创且不公开，模型不可能在训练语料里见过；每道题有唯一可自动验证的答案（通常是整数或数学对象）；
2. 难度分层：Tier 1-4 逐级递增，Tier 4 是研究前沿级别——菲尔兹奖得主陶哲轩曾评价其中部分题目「可能需要领域专家花数小时到数天」；
3. 评分：答案自动验证，无主观评分。

当前格局：GPT-6 Astra 97.6%，GPT-5.6 Sol 83.0%，Claude Fable 5.1 87.8%。

注意点：97.6% 意味着这个榜单对 Astra 已接近天花板，下一代模型发布时它的区分度会大幅下降——观察重点会转向尚未饱和的 Tier 4 之外的新题集。

局限：只覆盖数学一个学科；「答案可自动验证」的约束使其无法测量开放式研究能力（如提出新猜想、写证明的优雅性）。

参考链接：

• FrontierMath (Epoch AI)

[ikaijua]

GPQA Diamond 详解

测什么：研究生水平的科学推理（物理、化学、生物）。GPQA = "Google-Proof Q&A"，设计目标就是「搜也搜不到答案」。

出品方：纽约大学等高校研究者团队。

推出时间：2023 年 11 月发布，是近两年模型发布会的常客。

核心设计：

1. 题目由领域博士撰写，并经其他专家验证：专家答题正确率约 65-74%，而非专家即使可以无限上网搜索也只有约 34%——「Google-proof」由此得名；
2. Diamond 子集：198 道最高质量、经过最严格筛选的题目，是当前最常用的口径；
3. 四选一选择题，但选项设计使蒙对概率远低于 25%。

当前格局：GPT-6 Astra 96%，Gemini 3.8 Flash 95.3%。头部模型已全部越过 95%。

重要提醒：GPQA Diamond 已经实质性饱和。95% 和 96% 的差距几乎没有信息量（198 题里就是 2 题的差异）。如果你的目的是区分前沿模型，应该看 ARC-AGI-3、Terminal-Bench 这类还在快速爬坡的新榜单。模型厂商继续把 GPQA 放在发布会 PPT 里，更多是惯性。

参考链接：

• GPQA 论文

[ikaijua]

OSWorld 2.0 详解

测什么：Computer Use 的最直接量化指标——模型在真实操作系统里操作真实应用完成任务：控制鼠标键盘、跨应用协作、处理文件。

出品方：香港大学等高校组成的开源学术团队。

推出时间：2024 年首发，2.0 为当前版本。

怎么测：

1. 在真实虚拟机（Ubuntu/Windows/macOS）中搭建任务环境：浏览器、Office、VS Code、文件系统等日常软件；
2. 任务如「把这个表格里的数据汇总后发邮件」「在浏览器里找到某个设置项并修改」；
3. 以系统最终状态自动判分（检查文件内容、应用状态），不看操作轨迹；
4. 模型只看屏幕截图（+辅助功能树），像人一样用鼠标键盘操作。

当前格局：GPT-6 Astra 72.6%，GPT-5.6 Sol 65.7%。同样值得关注的是效率：Astra 单任务平均约 40 分钟，Sol 约 75 分钟——准确率提升的同时耗时减半，这才是「能干活」的完整信号。

局限：任务以办公/日常场景为主；真实企业环境的账号权限、内网系统、安全软件会额外增加难度。

参考链接：

• OSWorld

[ikaijua]

Agents' Last Exam (ALE) 详解

测什么：AI Agent 能不能「真的上工」——完成长期、有经济价值的真实工作任务，而不是抽象的学术代理问题。

出品方：UC Berkeley RDI（Responsible Decentralized Intelligence，伯克利去中心化智能研究中心）主导，250-300+ 位行业专家共建。

推出时间：2026 年 6 月。

核心设计：

1. 按真实劳动力市场设计任务：覆盖 55 个子行业，公开题库 1500+ 任务（目标 5000 题），任务来自真实的职业工作流；
2. 难度分层：从单一工具短任务到跨系统数小时长流程，最难一档发布时前沿模型平均得分不足 1%——「几乎没人及格」；
3. 按交付物判分：把模型放进真实电脑环境，同时操作软件、终端和文件，完成科研、工程、财务等任务，以最终交付物质量评分；
4. Living benchmark：题库持续扩充，设计上就不打算被「刷爆」。

当前格局：GPT-6 Astra 59.3%，Claude Opus 5 55.5%，GPT-5.6 Sol 53.6%。三个月前最强模型还只有个位数到几十分，爬坡速度非常快。

题目长什么样（来自 ALE 论文与官网的真实示例）：

1. 制造业：生成 CAM 加工路径（G-code）——仅 manufacturing/gcode 一个工作流就有 18 个不同工件实例，评分先过「无刀具碰撞」门槛再比几何精度，门槛不过直接 0 分。
2. 建筑工程：把 2D 蓝图转成 3D 模型——必须用领域专家真正用的软件（SolidWorks/Rhino），而不是「看起来能做」的通用工具。
3. 视频制作：「把一只奔跑的猎豹合成进另一个赛车视频」——需要跟踪、rotoscoping、合成、调色一整条耦合工作流，单个 UI 操作不算数。
4. 游戏开发：「用 RPGMaker XP 复刻 mota.exe（魔塔）」——可验证性体现在地图几何、角色属性、事件状态都能与参考版本自动对比。
5. 其他交付物类型：财务工作簿、3D 网格、结构化申报文件、分析报告等，分别用精确值/哈希比对、带容差的结构化字段比对、几何面距、视觉评判等方式自动评分。

题目从哪来：不是出题人编的——每道题都来自一位行业专家已经实际完成过的真实项目（通常花了专家数天到数周），经过投稿门户提交、会议式评审（major/minor revision…）、工程师试跑、专家委员会终审五道门槛才入库。

评分原则：能用确定性检查就绝不用 LLM 当裁判；确实需要模型判断的（如视频、渲染场景），也拆成一系列「有证据锚点的是非探针」再聚合，拒绝「让模型看看像不像」式的整体打分。

评测环境：远程虚拟机（Linux/Windows），预装好任务所需的真实软件，四个目录分工明确：input/（只读输入）、software/（预装应用）、output/（Agent 唯一能写的地方）、reference/（Agent 看不到的标准答案，仅用于评分）。

难度三档（150 道公开题）：

1. Near-Term（59 题）：当前前沿 Agent 能部分完成，适合快速迭代刷榜；
2. Full-Spectrum（55 题）：55 个子行业每行至少一题，用于全面评估；
3. Last-Exam（36 题）：最难工作流，发布时包括 Fable 5 在内的所有前沿 Agent 通过率都是 0%——这是 ALE 预留的长期天花板。

两个有意思的发现（论文分析章节）：

1. 34% 的任务以 GUI 软件为主，但 Agent 普遍「偷懒」用 Bash/脚本绕过 GUI——说明它们对专业软件的界面操作还不可靠；
2. 失败原因里约 3/4 是「理解错任务/选错方法」，而不是执行手滑——瓶颈在领域知识，不在操作能力。

成本维度（2026-06 数据）：Fable 5、GPT-5.5、Composer 2.5 总体成绩同档，但单任务成本差 4-12 倍（约 $15.70 / $3.80 / $1.33）——分数之外，成本是选型时同样重要的轴。

另有纯命令行子集 ALE-CLI（106 题）：最强配置（Codex+GPT-5.5）也只有 25.2%，对比同一配置在 Terminal-Bench 的 82%，可见 ALE 的长程真实工作流难得多。

参考链接：

• ALE 官网

为什么重要：它的分数可以直接翻译成「AI 能替代多少比例的真实数字劳动」，是评估 Agent 经济影响最接地气的标尺。

参考链接：

• Berkeley RDI 官方介绍
• 论文: Agents' Last Exam

[ikaijua]

AutomationBench 详解

测什么：真实业务工作流自动化——销售、市场、运营等部门每天都在做的跨应用流程，AI 能不能端到端接下来。

出品方：Zapier，全球主流自动化工作流平台，坐拥数百万真实工作流数据，出题天然贴近生产环境。

推出时间：2026 年初（2 月开源，4 月发表 arXiv 论文）。

核心设计：

1. 657 个任务，基于真实业务场景，需通过 REST API 在多个模拟 SaaS 应用之间编排数据流；
2. 成本透明：不只判任务完成与否，还同时呈现完成任务消耗的 API 成本——直接回答「用 AI 替代这条流程要花多少钱」；
3. Artificial Analysis 等第三方有独立复测版本（AutomationBench-AA），减少厂商自评的水分。

当前格局：GPT-6 Astra 41.4%，Claude Fable 5.1 31%，GPT-5.6 Sol 18.1%。

为什么重要：这是「AI 员工」叙事最实的一把尺子。Sol 的 18% 意味着自动化多数流程还得人兜底；Astra 41% 说明刚跨过「部分可用」的门槛，但离「放心托管」还远。观察这个榜的爬坡速度，基本就是观察 AI 吃掉企业流程自动化的速度。

参考链接：

• AutomationBench (Zapier)

[ikaijua]

ExploitBench / ExploitGym 详解

测什么：攻击性网络安全能力——发现并利用软件漏洞。

ExploitBench（卡内基梅隆大学 CMU，2026 年 5 月发布）：

1. 用 41 个 V8 JavaScript 引擎的真实 CVE 漏洞作为考题；
2. 能力阶梯设计：把完整漏洞利用分解为 16 个可测量的阶段（flag）——从触发崩溃，到沙箱原语、任意读写、控制流劫持，直至任意代码执行；
3. 好处是细粒度：能看到模型「卡在哪一级」，而不是只有成功/失败两个结果。

ExploitGym：学术 CTF（夺旗赛）风格基准，模型需要在隔离环境内完成渗透夺旗。GPT-5.6 Sol 30.3%，Astra 42.4%。

为什么 GPT-6 的 100% 是标志性事件：

1. Astra 在 ExploitBench 拿到满分，并在测试期间自主发现了 2 个未知的 V8 零日漏洞；
2. 这使它成为 OpenAI Preparedness Framework 建立以来首个触发网络安全 Critical 等级的模型；
3. 双刃剑：同样的能力用于防御是自动审计、用于攻击是自动化武器——OpenAI 因此配套了权重加密、全轨迹监控、分阶段开放（Daybreak Blue 项目）等措施。

注意点：满分意味着 ExploitBench 对 Astra 已经没有区分度，后续要看更难的 SCONE-bench 等榜单，以及「近三个月新漏洞」这类滚动评测。

参考链接：

• 论文解读: ExploitBench: A Capability Ladder Benchmark for LLM Cybersecurity Agents（ChatPaper）
• ExploitBench/ExploitGym/SCONE-bench 对比解读

[ikaijua]

HealthBench Professional 详解

测什么：医疗场景下 AI 回答的能力与安全性——既考医学知识，也考「该不该答、怎么答」。

出品方：OpenAI，评分标准（rubric）由执业医生群体参与设计。

推出时间：2025 年 5 月发布 HealthBench，Professional 为后续推出的临床进阶版。

核心设计：

1. 开放式对话题（不是选择题），由评分模型按医学专家制定的 rubric 逐条核对：信息准确性、是否建议就医、是否遗漏危险信号等；
2. 长度校正计分（length-adjusted）：开放式评测存在「写得越长越容易蒙中评分点」的漏洞，HealthBench 对超长回答施加罚分——这是看各厂商分数时最容易忽略的口径差异；
3. Professional 版难度更高、面向临床工作流，OpenAI 内部测试显示它对前沿模型进步的预测力明显强于原版。

当前格局：GPT-6 Astra 63.4%（长度校正后），GPT-5.6 Sol 60.5%。

注意点：

1. 原版 HealthBench 对前沿模型已接近天花板（96 分左右挤作一团），比较时认准 Professional 口径；
2. 它是 OpenAI 自家评测，看 OpenAI 模型分数时建议等第三方复测。

参考链接：

• HealthBench (OpenAI)

[ikaijua]

BenchCAD 详解

测什么：程序化 CAD 建模——看一张机械零件的图，写出能把它精确重建出来的 CAD 代码。

核心设计：

1. 17,900 个经过执行验证的 CadQuery 程序，覆盖 106 个工业零件族：锥齿轮、压缩弹簧、麻花钻等可重用工程设计；
2. 四种任务形态：视觉问答（看图答参数）、代码问答、图生代码（核心任务）、指令引导的代码编辑；
3. 可执行验证：生成的代码真的能跑、能重建出几何体才算分——杜绝「看起来对」的幻觉。

出品方：学术界研究团队，arXiv 开源发布。

推出时间：2026 年 5 月。

为什么重要：

1. 它把多模态理解（看懂工程图）、空间推理（三维结构）、代码生成（CadQuery/Python）三种能力拧在一个任务里，是复合能力的试金石；
2. 对应真实工业场景：如果 AI 能可靠完成图纸→CAD 代码，机械设计、3D 打印、制造业的工作流会被明显加速；
3. GPT-6 Astra 拿到 95.9%（Sol 83.3%，Fable 5.1 84.3%），配合官方演示中 Astra 直接操作 KiCad 画 PCB，说明「AI 操作专业工程软件」正在从演示走向可用。

局限：零件类型以标准件为主，真实工业设计中的非标复杂装配体仍超出当前能力。

参考链接：

• BenchCAD 官网
• 论文: BenchCAD (arXiv)