open-code-review的【精确率vs召回率】实测 #403
Unanswered
zhoujunjun-apple
asked this question in
Q&A
Replies: 1 comment 3 replies
-
|
你好,想问下系统提示词是指 system prompt 还是规则的细节?目前规则的细节是支持直接替换的,但是系统提示词目前确实还没有支持直接替换,是否有 clone 下来直接改系统提示词构建产物进一步评测过?这些问题的明确会有助于我们进一步迭代。 |
Beta Was this translation helpful? Give feedback.
3 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
总结: 对比了open code review 和 我司内部的T8 reviewer(两者都使用GPT-5.5模型),两者侧重点明显不同:前者侧重召回率,后者侧重精确率(详见截图)。
详述:ocr 的review结果,覆盖面极广,甚至包括了注释修正、代码规范、概率极低的corner case等情况,按我们的评审原则,导致ocr的审核精确率不及T8 reviewer,但剩在召回率高
分析:初步对比了ocr和T8 reviewer的系统提示词,确实前者偏宽泛,后者偏具体,所以有如上结果,似乎也在情理之中
疑问:ocr的系统提示词,是否可以直接修改和替换?
Beta Was this translation helpful? Give feedback.
All reactions