Skip to content

v0.5.1 — 二審抓到自己的漏洞 The reviewer reviews itself

Choose a tag to compare

@tingyulu tingyulu released this 20 Aug 05:08
· 31 commits to main since this release

用新工具審新工具,抓到兩個會讓它自己失效的洞 🔍

v0.5.0 剛把 ai-review 做出來,就用它把自己整包(SKILL.md + 腳本)送 GPT 與 Gemini 各審一次。兩個模型獨立指向同一批缺陷,其中兩個直接打穿這支工具的核心承諾:

  1. 自訂後端指到不存在的命令 → 回 exit 2,在 set -e$(…) 裡會直接中止上層流程。而「沒有二審後端絕不中斷你的流程」正是它的硬需求。現在回 skipped_not_installed + exit 0,引導文字也不再叫你去裝 codex。
  2. 錯誤分類器有一條模糊的 auth 比對 ——「組織政策拒絕」「認證服務掛掉」這類真失敗會被判成「略過」並回 exit 0。安靜的假成功,正是它攔別人時要抓的東西。現在只收明確的登入證據。

另外六項:--effort 沒驗值(還會被插進後端 config)、一次給兩份來源檔靜默只審最後一份、同秒落檔互相覆蓋、含冒號的檔名弄壞 YAML frontmatter、空回覆不印原因(與文件宣稱不符)、prompt 組裝途中檔案被刪仍照樣送出。

全部修掉,並逐條變成回歸測項:5 種 shell × 26 項全過shdashbashkshzsh),真實 Codex 路徑重驗。Linux/Windows 仍未實測,README 因此仍不宣稱跨平台。

The reviewer reviews itself 🔍

v0.5.0 shipped ai-review; v0.5.1 is what happened when it reviewed itself. Two independent models flagged the same defects — including one that broke its own core promise (a missing custom backend returned exit 2, aborting the caller under set -e) and a fuzzy auth pattern that turned real failures into a silent exit 0. Eight fixes, each with a regression case; 26 cases across 5 shells.

更新 Update: npx skills update