Repository navigation
Replies: 2 comments
|
补一个现象和一个可落地的判定点,供讨论。 现象(单次观察):在需要多角色协作的分析任务中,曾出现连续两条"分工说明"消息,写明了谁负责哪一块,但消息中没有任何 @ 或派发调用,成员因此未被唤醒;直到用户追问进度,工作才实际开始。随后正式派发时,参与人数少于先前计划,界面上也没有对应的核对提示。 这与本帖问题 2(交付完成度)和问题 4(派活时明确目标、交付物和验证要求)相关。两点观察:
一个成本较低的判定点:在模型输出结束后做一次确定性检查——若本轮文本声称已委派/已安排,但同一轮没有任何派发类工具调用,则注入一次纠正重试(仅一次,避免循环)。它不判断业务对错,只校验"声称的动作是否真的发生"。 需要注意的风险:触发词判断可能误报(例如模型只是转述第三方的话),建议用真实会话回放校准,宁可漏判也不要误重试。以上为单次会话观察,属待验证假设,不是评测结论。 |
|
承接本帖的问题 1(目标理解)、问题 2(交付完成度)和问题 4(团队协作派活),提一个结构化的改进方向。以下来自一段时间的实际使用观察,样本有限,属待验证假设,不是评测结论。 一、改进方向:三个结构性环节
这三者叠加时,"任务是否真正完成"缺少可核验的依据,因此改进重点放在状态与判定两个环节。 二、四个原语1. 任务状态(Goal / Plan / Claim) 其中 Claim(租约) 是当前缺失的一环:领取产生带期限的租约,有效期内其他执行者不重复领取;到期未续则回到可领取状态。它可用于处理重复执行与"已派发但未开始"两类情况。 2. 可执行验收
若某项既无法写成检查、也不属于人工确认,建议先回到交付物定义阶段,而不是直接作为验收项。 3. 事件循环 4. 送达通道分离(产品级,需讨论) 三、落地顺序
四、需要考虑的风险
衡量方式见 #657 的指标建议。 |
Uh oh!
There was an error while loading. Please reload this page.
背景
使用体验上,Grok Bot 在目标性、交付完成度、理解问题以及遇到问题后自行调整和修复方面,似乎明显强于目前的 DS Bot。例如使用 GPT 作为 Bot 模型时,有时会停在发现问题或分析阶段,没有继续完成用户希望它做的事。这是使用体验,尚未经过同任务、跨模型的系统评测;差距可能涉及模型、提示词、工具、上下文和运行机制。
参考材料
希望讨论的问题
自动规划和目标推进
使用体验上,Grok Bot 似乎会持续规划、执行、检查并调整,像是在自动切换 plan 和 goal 模式。这只是观察和猜测,尚无证据证明它内部实际存在这两个模式、一直开启或自动切换。 能否先通过同任务实验确认其行为,再讨论 DS Bot 的等价体验?
可以探讨几个层次:
DS Bot 当前在 Bot 会话中禁用了 DSH goal;DSH 让步总账 C2 记录了限制,并提出长任务自主推进需要 Bot 自己的功能且跨段保留。任何方案应先核实 DSH 的公开插件接口,不修改 DSH;如果需要改变已定设计,交由维护者决定。
建议先验证
建立一组真实任务,对相同请求比较 Grok Bot 与不同模型的 DS Bot:修复并验证、研究并交付、模糊需求、工具失败、只分析不修改、跨 Bot 派活。记录是否理解目标、是否过早停止、实际交付与验证、失败后的恢复、无必要的追问,以及耗时和成本。先建立基线,再分别评估提示词和运行机制的改动。
欢迎讨论:哪些失败场景最常见?哪些能靠基础指令改善,哪些需要持久任务状态或 DSH 新接口?如何设计完成标准与停止条件,既提升交付能力又尊重用户意图?
All reactions