Repository navigation
Attribution before assertion — telling a real FAIL from a harness artifact #518
JeffChan702
started this conversation in
Show and tell
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
当 AI Agent 跑 UI 测试:你怎么知道一个 FAIL 是真的?
When Your Agent Reports a FAIL, Is It Real?
0. 先讲一个我自己的事故
在一次 17 个用例的回归跑批里,我的 agent 报了 7 个 FAIL。
这 7 个 FAIL,一条都不成立。
每一个用例的断言都通过了,产品行为完全正确。它们被判 FAIL 的唯一原因是:
page.screenshot()抛了一个错——跑批进行到第 11 条时,浏览器窗口被最小化了。我没有犹豫就把 7 个 FAIL 归给了"产品"。是 review 的时候才发现,产品根本没问题。
这就是本文要解决的一件事:
1. 问题的形状 / The Shape of the Problem
人工测试时代,"这个 FAIL 是不是产品的问题"由人的经验兜底。测试同学点一下就知道:"这不是 bug,是环境没起来。"
换成 agent 之后,这个判断必须被显式地写进流程,否则 agent 会默认做一个最糟的选择:
这个推理链条里缺了一环:"我没有观察到"和"它不存在"是两件事。
同一天里我连踩三次,加起来 15 条假 FAIL:
screenshot()抛错未隔离v-show节点仍在、选择器跨区域污染<link rel=prefetch>这三件事看起来是三码事,其实是同一个病:判定(verdict)和观测(observation)没有分离。
2. 事故一:证据通道失败,把 15 条结论污染了 7 条
症状 / Symptom
跑批到一半,窗口被最小化。
screenshot()开始抛错。后续每个用例都被整条判 FAIL,尽管断言全通过。这个设计错误极其常见,因为它写起来最自然:
本质 / Root cause
取证是旁路动作(side channel)。旁路出问题,不应该反过来改写主路的结论。
解法 / The fix
把取证封装成永不抛错的函数,双通道降级,都失败就认账并放行判定:
改完之后同一场景的结果:
一个反直觉的注意点
不要用"视口尺寸"去判断"能不能截图"。
窗口最小化时,视口仍然是非零的——我实测是
995x913。也就是说:尺寸探针会静默通过,然后截图炸掉。正确的做法是直接看错误文案:
3. 事故二:DOM 断言的假阳性(8 条)
这批 FAIL 更好笑——产品确实是对的,是我的选择器在说谎。
陷阱 1:
v-show的节点永远在Vue 的
v-show只是切换display:none,DOM 节点不会移除。我第一次写成了反向判断("遮罩残留"),结果弹窗已经正常关闭了,却一直报残留。
陷阱 2:同名 class 跨区域污染
一个弹窗里的 tab 和设置页侧栏的 tab,用了完全相同的 class。全局查询把两处一起数了:
陷阱 3:
goto()会毁掉 SPA 上下文在单页应用里用
page.goto()切页,会重建整个文档。之后page.evaluate()直接报:正确做法是走路由:
陷阱 4:恒真断言
4. 事故三:我把构建机制的默认行为当成了缺陷
这条最值得说,因为它不是技术问题,是思维问题。
场景:一个异步加载的对话框模块被改成了懒加载。我写的断言是:
它一直 FAIL。我连续归因错了两次:
第三次我去拉真实数据,才发现真相:
这是构建工具的默认行为,跟本次改动毫无关系。 我的断言从一开始就是错的。
正确的判据应该打在改动真正改变了什么上:
import()引用元教训 / Meta-lesson
正确动作不是"再想想还有别的原因吗",而是把观测数据拉出来:
5. 核心解法:把归因显式化(failure_class)
上面三个事故有个共同点:每次都是"我以为"而不是"我验证"。
所以我给每个用例强制加一个字段:
failure_class。它必须在报告里出现,不能留空。九类 / Nine classes
PRODUCT_BUGHARNESSTEST_DATASPEC_GAPENVTOOLINGTIMEOUTFLAKYTEST_CASE两条硬规则 / Two hard rules
规则一:只有
PRODUCT_BUG才计入"产品未通过"。其余全部进"阻塞分桶(blocked bucket)"。这个区分让报告从"17 个挂了 7 个"变成:
一眼就知道:产品是好的,是我的 harness 有问题。
规则二:元素找不到时,先标
HARNESS,不要直接判产品 bug。为什么这套东西值得单独拿出来讲
因为它和具体工具无关。不管我用的是 Playwright、Puppeteer、Playwright MCP、还是自研的浏览器驱动,
failure_class这套语义都不用改。它是测试报告的信任模型(trust model),不是某个 API 的用法。
6. 可以直接抄走的自检清单
断言层
v-show控制的元素,读的是getComputedStyle().display,不是节点存在性querySelectorAll都限定了父级作用域location.hash,不用goto()window.innerHeight),不用设计常量证据层
capture()永不抛错,双通道降级(PNG → PDF → 记录缺口)evidenceGaps),与其他判定字段分离归因层
failure_class,不允许为空HARNESS,兜底一次后才考虑升级元层(最重要)
7. 一句话收尾 / One Line
我最初的问题是"怎么让 agent 跑得更多"。真正的问题其实是:
怎么让 agent 的结论可以被相信。
这两件事之间,隔着一整套归因机制。
这些数字(7 条、8 条、连续 2 次)都是真实事故记录,不是构造的例子。
写出来是因为它们比"最佳实践"更有用——最佳实践告诉你怎么做对,事故告诉你错在哪。
Related / 相关讨论
screenshot()在 Windows 最小化窗口下显式报错 — 根因 + 补丁NoDisplaySleepAssertion长时间不释放上面的数字(7 条、8 条、连续 2 次)都是真实事故记录。写出来是因为它们比「最佳实践」更有用 —— 最佳实践告诉你怎么做对,事故告诉你错在哪。
All reactions