Repository navigation
Replies: 3 comments 4 replies
建议:将"证据驱动演进引擎"纳入同一规划空间感谢这份 RFC,"策略归 extension、基础设施归 host"的切分我们完全认同。想补充一个主张:证据驱动的演进引擎(信号采集 → 分诊 → 归因 → 候选 → 验证 → 审批 → 应用)应与本 RFC 视为同一规划空间的后续能力,并分享我们在 实践中的两个发现1. 交互式演进与证据驱动演进应共享事实库。 2. 插件无法在插件上叠加,这决定了引擎的最终归宿。 |
|
@davidfunn 谢谢整理这份 RFC。我支持把 Skill 的改进方法和工具入口做成可选插件,由 DeerFlow 统一负责安全检查、保存和版本记录。补充三个具体问题供讨论:
对于 RSI,可以让两种插件都调用 DeerFlow 提供的公共接口,学习方法仍由各自维护。不必因此把学习引擎放进 core,具体放在哪里,可以按实际需要讨论。 期待后续方案,也愿意继续参与讨论。谢谢! |
|
@davidfunn 接着 @Totoro-qaq 上面关于 #5645 / #5646 衔接的问题,我想再确认一下学习闭环的分工和交付安排。 补上前期讨论的出处:最早的 #1865 主要解决 Agent 创建、修改 Skill 的入口;后来的 #5500 在此基础上提出 D1 后台回顾、D2 效果验证、D3 回滚补全等开发项。其中 D1 列为 P0、D2 列为 P1,学习入口和效果验证都是那份提案的重要目标。 另外,#6029 的 v0.2 修订 已经明确了承接学习闭环的方案:第 3 节将初筛、归因调查和候选生成分开;第 5 节规定策略 / Skill 修改的新旧对照与回归检查;第 7 节把首期收窄为单个 Skill、人工触发候选、展示验证结果、人工发布、记录后续效果并验证撤回条件。 结合 #5500 和 #6029,我理解这条线的整体目标可以具体落成五件事:
这些是整体目标,不要求本 RFC 一次做全;近期可以先挑其中一个具体场景跑通,Memory 联动和自动触发再逐步扩展。 这份 RFC 把插件化、完整包版本和恢复展开得很细,这些能力有价值。#6029 已经承接学习与验证,#5646 也明确了插件与宿主的分工,因此这里更需要确认的是几份方案如何接起来:
建议本 RFC 显式关联 #6029,并把这些依赖与交付顺序写清楚。学习与验证已有规划,接下来应以那个已有闭环作为共同验收场景,不必把所有学习能力装进本 RFC。 沿用 #6029 第 7 节的最小范围,可以先做:一个已有的用户自定义 Skill,只改正文,手动触发一次有证据的改进。 例如 PDF 文本提取:直接提取扫描件失败,改用 OCR 成功。先确认原因是缺少文字层,再生成“有文字层直接提取,没有文字层再考虑 OCR”的候选,避免学成“所有 PDF 都用 OCR”。
我的建议是优先落实 #6029 已提出的这个小闭环,与版本和恢复能力配合推进。上面的 PDF 场景只是一个可选验收例子;关键是用同一条从证据、候选、验证到发布和撤回的链路,检验几份方案是否真正衔接。 |
Uh oh!
There was an error while loading. Please reload this page.
RFC: Pluggable Skill Self-Evolution Extension / 可插拔 Skill 自演进扩展
Status: Draft for community feedback;尚未实现、安装或发布。
Date: 2026-10-15
Proposed package:
deerflow-extension-skill-evolutionSource baseline:
b7e3d933Summary
当前 DeerFlow 可以在
skill_evolution.enabled开启后,通过系统提示词引导 Agent 从任务经验中创建或改进 Skill,并通过skill_manage保存到用户级目录。本 RFC 提议:
deerflow-extension-skill-evolution包,通过现有install(registry, config)、deerflow.extensionsentry point 和plugins:配置安装启停。skill_manage工具声明迁入 extension。首版保留当前“模型决定是否沉淀经验、工具执行已授权变更”的行为。它不增加后台训练任务,不把文件保存成功解释为效果验收通过。
Motivation
Why make self-evolution pluggable?
现有能力已经具备实用的创建、编辑与持久化链路,但策略与入口分散在 core:
skill_manage。skill_evolution下,但审核逻辑也被安装和管理 API 使用。将策略抽为 extension 可以独立发布、选择性部署和升级,同时保留统一的技能数据与安全基础设施。
自演进还需要可恢复性:一次优化可能同时影响正文、脚本和资源,仅记录单文件前后内容不足以准确恢复历史状态。为每次变更保存完整技能包版本,可以让用户判断“改了什么、为什么改、由谁改”,并在优化不符合预期时恢复到已知版本。
Design constraints
自演进 extension 使用现有 Python 扩展加载器、管理 CLI 和
plugins:配置。新增提示词贡献与技能变更能力必须同时提供公共契约、宿主实现和测试,确保独立包使用受支持的接口完成调用。Goals
skill_manage工具名称与六类 action,兼容现有技能格式和虚拟访问路径。app.*或 harness 私有实现。Non-Goals
首版不包含:
skill-creator、skill-reviewer变成每次变更的强制步骤。这些增强能力需要单独 RFC;不能因本次包装而声称已经具备。
Current Behavior
SkillEvolutionConfigprompt.py::_build_skill_evolution_sectiontools/tools.pyskill_manageskill_manage_tool.pyskills/storage/*skills/projection.pyskill_usage/skill_context现有 JSONL 主要记录单文件变更,不等于完整技能包版本。现有回滚接口主要将某条历史的 prev_content 恢复到 SKILL.md,不能据此宣称正文、脚本和资源均已回到同一版本。本 RFC 增加独立的整包版本语义,并保留旧历史记录。
触发提示包括:任务使用 5 次以上工具调用、克服隐蔽问题、有效用户纠正、发现复杂重复流程。它们是建议,不是工具调用计数器或后台调度器。
当前写入目录:
保存后通常无显式禁用配置即启用;模型下次任务按描述匹配后读取,或者由用户显式 slash 激活。无需额外打包
.skill或调用present_files才能持久化。Proposed Architecture
Overview
flowchart LR A[Operator 安装 / plugins 配置] --> B[Extension Loader] B --> C[Skill Evolution Extension] C --> D[组装期提示词贡献] C --> E[skill_manage 工具声明] D --> F[Agent 任务执行] E --> F F --> G[用户绑定 SkillMutationService] G --> H[校验与安全扫描] H --> I[完整包快照 / 版本指针 / 审计记录] I --> J[本地缓存失效 / 共享刷新标记] J --> K[下一次任务发现与加载] U[用户查看版本并申请回退] --> V[版本权限 / 安全 / 并发检查] V --> IResponsibility split
skill_manageschema、参数适配宿主不提供“这是第 5 次调用,所以现在必须学习”的业务判断。extension 不复制 storage/scanner/projection,也不通过内部函数拼装可信用户身份。
Extension declaration
工具先复用已有 middleware contribution 的
tools属性。宿主已为这些声明提供授权收窄,因此首版无需再引入一套独立 ToolContributor。保留工具名
skill_manage有两个理由:skill-creator使用该名称。ModelTool会生成命名空间工具名,且当前调用预算为 30 秒,不适合无条件套在可能耗时的安全扫描外层。此选择不扩大工具权限。声明仍必须进入 host 的 assembly-time authorization 与 runtime guard/tool policy。
Public Host Contracts
以下接口均为提案,当前 extension-api 尚未提供。名称与签名用于讨论,不是可直接运行的代码。
1. PromptContributor
当前
IsolatedMiddleware是观察型隔离层,传递给下游的是原始 request;extension 的 wrap_model_call 不能可靠替换系统提示词。因此新增正式的、只追加的组装期贡献入口。公共 DTO/Protocol 保持 stdlib-only:
宿主行为:
skill_manage通过组装授权且运行 scope 合适时返回演进片段。后续动态 allowed-tools 仍可能限制工具,提示词不构成授权。必须同时实现 registry、loader attribution/rollback、lead 组装、适用的 subagent/embedded 路径和测试。不能只增加一个永远被宿主忽略的注册方法,也不能放宽观察型 middleware 隔离契约。
2. User-bound SkillMutationService
把当前工具中的通用变更过程抽为宿主服务。extension 只提交业务参数,宿主决定可信 owner、目录与安全策略。
绑定原则:
_skill_manage_impl或app.*。service scope 不是全局写授权。实际 action 仍遵守工具授权、当前用户 ownership、只读类别和扫描规则。Python extension 本身仍是 operator 信任的代码,不把 capability 描述成对恶意已安装包的沙箱。
管理 API 接入同一内部 service 不改变其现有 admin/route permission 检查;API adapter 由宿主写入 author=human,Agent adapter 写入 author=agent。共享编排不等于两个入口获得相同的调用权限。
新增的 change_summary、reason 和 optimization_id 仅用于解释和关联,允许为空,不构成授权或可信任务结论;author、时间、owner、关联 run/thread 均由宿主生成或校验。版本号和 version_id 由宿主分配,模型不能指定。原六类工具参数保持兼容,版本前置条件与审计参数可以增量加入。
Agent 操作的幂等身份由宿主关联 owner、服务器 run/execution 和该次工具调用生成,不能单独使用 provider tool_call_id 作为全局键。API 操作接收请求幂等键,并绑定 owner 与请求内容摘要;相同键提交不同内容返回 conflict。幂等元数据不必作为新的模型必填参数。
3. User-bound SkillVersionService
版本查询和回退是宿主公共能力,停用 extension 后仍可使用。与变更服务采用相同的用户绑定和来源校验:
公共版本 DTO 返回有界元数据、分页游标和授权后的包内差异,不返回主机路径或其他用户的内容。首版不向 Agent 自动增加 rollback action:用户通过版本管理入口发起回退,宿主独立校验权限、目标版本、当前版本与幂等键。
Mutation Semantics
变更通过校验和扫描后即可成为当前版本,不增加“写 draft 再发布”的流程。与现状的可见变化是:成功结果携带版本号,delete 保留可恢复历史,所有写入入口必须经过版本化提交。
完整调用链:
包快照在元数据提交前写完并验证可读;当前版本指针和审计记录在同一宿主元数据事务提交。兼容目录、projection、JSONL 镜像与缓存属于可重建视图,不是版本真值,也不假定它们与数据库或文件存储之间存在跨介质事务。
Safety and concurrency
Versioning, Audit Trail and User Rollback
Stable identity and version numbers
每个用户自定义 Skill 由宿主分配稳定的
skill_id。显示名和目录名不是版本归属依据;不同用户的同名技能、同名 public 与 custom 都有独立身份。v1,后续成功内容变更依次为v2、v3…,由宿主在提交事务中分配。version_id和内容package_digest。0.1.0相互独立;无需在 SKILL.md frontmatter 中新增 version 字段。What a version contains
一个版本对应完整包:SKILL.md、scripts、references、templates、assets,以及其文件路径、原始字节哈希、大小和规范化普通执行位。二进制资源也要保留。
版本不包含凭据、请求级 secrets、
_skill_states.json、运行输出、缓存或全局配置。manifest 排除宿主生成的版本与历史目录,拒绝越界路径和无法安全封存的符号链接。快照只能写入一次,不提供原地修改。改变任意成员的内容、增删文件或执行位都产生新版本。相同文件内容可以底层去重,但不能通过去重接口泄露其他用户的数据存在性。
完整快照表示“可以恢复当时保存的包”,不表示该版本功能已验证。一次优化调用多次 write_file 时,每个成功调用都产生可追溯版本;通过 optimization_id 将它们归为一次优化过程,不把该标识当作原子批量发布。
Audit every optimization attempt
审计记录采用追加式事件,包含成功、失败、被阻断、冲突、无变更和回退,不能只记录最终成功结果。
文本 diff 由宿主比较快照生成;二进制展示路径、大小和哈希变化,不伪造文本差异。说明和诊断按保留策略最小化记录,不保存模型隐藏推理或无关会话全文;版本包本身是私有原始内容,不承诺自动脱敏。
可信审计元数据写入宿主版本存储;原有 JSONL 保留为兼容历史输出,不再作为恢复整个包的唯一依据。用户删除、保留策略与存储清理均应作用于版本和审计的访问/留存边界。
Storage and commit boundary
建议保留现有访问路径,新增宿主管理的内部版本区:
宿主元数据至少包含
skill_identities、skill_versions、skill_operations和当前版本指针。它们由宿主维护,不依赖 extension 的安装状态。按 owner/skill 唯一约束版本序号,version_id 归属校验禁止跨技能恢复;operation 状态与幂等键也持久保存。持久版本功能要求可恢复的元数据与快照存储;纯进程内 memory 模式不能宣称持久可回退。提交过程:
模型/扫描调用和大文件复制不能放在数据库写事务中。采用进程间锁与版本 CAS 防止 API/Agent 并发覆盖;操作幂等键复用已提交结果,重试不能重复产生版本。
崩溃后根据 operation 状态与版本指针恢复视图:未引用快照为可清理孤儿,已提交版本不能因刷新未完成而丢失。无法确认的尝试标记 unknown,核对提交记录后再决定是否重试。
User rollback workflow
用户在技能详情的“版本历史”中查看版本号、时间、来源、变更摘要、扫描结果、关联任务和当前版本标记,可比较任意两个有权访问的版本。
点击“恢复到此版本”后:
例如:
v2、v3 均保留,版本序号不会倒退;用户以后仍可选择恢复 v3。目标与当前完整内容完全一致时记录 no_change,无需重复生成相同状态版本。
当前版本在预览后发生变化时返回 conflict,要求重新确认差异,不能覆盖别人的新编辑。目标不完整、历史缺失、扫描拒绝或权限不足时拒绝恢复,不以历史曾可用为由跳过当前安全规则。
回退恢复的是包内内容,不恢复凭据、用户启用状态、角色权限或全局配置,也不撤销技能此前执行的外部操作。
Activation, deletion and retention
宿主在每次运行建立明确的版本读取视图,正文、脚本与资源均来自同一个 version_id;不能只恢复 SKILL.md 却继续读取新版脚本。现有稳定虚拟路径由宿主映射到对应快照,不能在活跃运行中逐文件覆盖导致版本混用。
用户回退默认影响后续运行。正在执行的任务保留原版本视图;如用户希望停止当前任务,使用独立的取消操作。技能禁用与安全撤权仍按宿主实时策略生效,不因版本固定而失效。
delete 将技能标为 deleted 并创建带删除标记的版本,不立即销毁历史包。用户可从归档列表恢复某个内容版本;若原名称已被新 skill_id 占用,返回冲突并要求明确选择新名称,不覆盖新技能。恢复内容不自动绕过当前禁用状态。
初版默认保留所有版本;达到用户存储配额时拒绝新的内容提交并给出清理提示,不静默删除旧版本。后续可配置保留策略,但不得清理当前版本、活跃运行引用版本及用户保留版本。extension 停用或卸载不触发版本清理。
Extension Package and Registration
建议源码包:
PEP 621 entry point:
示例仅描述拟发布包,当前不存在可用发行版。完整 pyproject 应声明 Python、工具框架与包含新增契约的 extension-api 版本;不提前编造该 API 版本号。
install 的职责:
skill_manage的 middleware contributor。宿主兼容性不能只靠 resolver 名称存在来判断。Phase 1 需在加载元数据中提供 required host features 声明与校验,至少区分 prompts.v1、skills.mutate.v1 和 skills.versions.v1;具体声明形态作为公共契约一并审查。旧宿主若不识别该要求,由最低 extension-api 依赖/entry-point API 检查阻止加载;新宿主在调用 install 前验证 adapter 可用。仅运行到工具调用时才发现缺少写入或版本服务,不满足发行验收。
工具暴露范围在实现前对 lead、subagent、custom agent、bootstrap、embedded 与 non-interactive 路径做基线测试。首版不悄悄把原来受限制的路径变成可写;也不把所有路径统一缩为 lead-only 后声称行为完全等价。
如果维护者选择首版限制为 lead-only,应作为单独、可见的行为决策记录并测试。subagent 本身无需获得新增的主动演进提示词。
Configuration
Proposed deployment configuration
min_tool_calls_hint只影响提示词,不是确定性计数触发器。confirm_before_create同样不代表工具内部存在审批凭据。默认策略与当前行为一致;非交互式创建的确定性审批规则另行讨论。enabled使用外层 plugin 开关作为唯一部署开关,不再增加一套互相覆盖的 config.enabled。若贡献全栈描述符,其 enabled 是该配置的投影,不是第二个在线写入口。模型审核配置留在宿主,因为管理 API 与 archive install 同样使用它。旧
skill_evolution.moderation_model_name/security_fail_closed提供兼容读取:新旧配置都显式出现且冲突时拒绝配置,不能默默选择较弱策略。plugins及审核策略均由 operator 管理;不把 Python 入口或扫描策略迁入 API-writableextensions_config.json。API Surface
Skill management
不新增平行的技能 CRUD API。沿用现有
/api/skills的 listing、内容、历史和管理能力,逐步把管理变更接入同一个宿主服务。版本功能在宿主技能 API 下增量提供,不通过 extension 自建另一份历史:
以上均为新增接口提案,尚未实现。恢复请求采用 SkillRestoreRequest;不存在或跨 owner 的身份不返回历史详情。UI 将版本列表、差异预览和恢复确认集成到现有技能详情,而不是新建通用插件面板。
版本查询/恢复需要显式的 owner-scoped 权限:owner 检查是必要条件,不等于自动授权。首版支持被宿主策略授予“管理本人 custom”的用户操作,并为普通用户与 admin 分别测试;不放宽现有 admin-only 管理接口,也不因插件安装就赋予跨用户回退权。
现有基于 history_index 的正文回滚在兼容期保留原含义,并接入版本化写入以产生新版本,不能把它显示成整包回退。新 UI 的“恢复指定版本”仅调用新 restore 接口。
可选通过已有
registry.plugin(PluginContribution(...))暴露状态:namespace 示例为
community.skill_evolution,不是对官方发布归属的声明。状态可以包括:部署是否启用、工具是否注册、宿主契约兼容性、需要重启与否。不要暴露用户技能正文、其他 owner 信息、凭据或原始异常。
生产模型的技能变更仍走
skill_manage。状态查询只返回部署与兼容信息,不承担技能写入,也不改变安全扫描的超时和取消语义。Installation and Lifecycle
拟发布后沿用现有流程:
以上是未来发行版/源码包的预期使用方式,本 RFC 不执行安装或远端发布。安装/升级使用现有 extension manager、锁文件与来源快照机制;所有 mutation 后重启 Gateway。首版不承诺热卸载。
停用关闭的是此 extension 的自主创建/修改入口,不取消用户已有管理 API 权限,也不阻止其他经授权入口。已运行 Agent 使用其组装快照,不把停用描述为立即撤销在途操作。
Backward Compatibility and Migration
A single owner for the tool and prompt
推荐过渡规则:
skill_evolution.enabled在兼容期保留当前 core 行为,并提示迁移。skill_manage与一份演进提示词。唯一所有者选择在宿主统一 tool/prompt 组装入口执行,而不是由 extension 各自猜测。若当前 plugin 名、entry point 与 distribution aliases 可用于定位,宿主必须归一化,并校验实际加载来源。
Existing Skill data
不要求用户手动搬迁或重写:
.history/*.jsonl。_skill_states.json。安装 extension 不能凭空创建空 custom 包改变 legacy fallback。同名遮蔽仍由现有 loader 决定;managed integration 继续只读,不扩展其同名覆写规则。
已有 custom 在首次变更或用户显式建立基线时,由宿主在统一锁下捕获当前完整包为 v1,标记 origin=imported;其真实创建者与原创建时间未知时保留 unknown。随后本次优化成为 v2。新技能正常从 v1 开始,不需要批量扫描并重写所有技能。
旧 JSONL 原样保留。无法从单文件记录重建当时整个包的历史,不生成伪造的可恢复版本;UI 将“旧变更记录”和“可恢复包版本”区分展示。
完成版本化注册后,所有正常 API、工具、导入和管理写入口都走宿主提交边界。外部直接修改兼容目录标记为 out-of-band,不能默默成为某个已记录版本;需要显式导入为新版本或重建视图。旧 core 开关路径也必须复用此服务,避免插件与 core 并存时出现无版本写入。
未注册技能继续沿用旧发现方式;已注册技能以版本指针为权威读取源,custom 目录作为兼容视图。首次接管时等待相关旧写入/运行的安全边界,不在活跃执行中替换其资源。这样无需用户搬家,但宿主存储实现需要增量适配。
Packaging compatibility
新增公共接口与宿主实现同一交付切片落地。依赖元数据、host feature 检查和清晰加载错误共同约束版本兼容。旧 host 上注册失败不得静默返回成功。
宿主接口、独立包和管理 CLI 分别进行兼容性验收。
Security Considerations
Testing and Acceptance Criteria
Contract and assembly
skill_manage不出现在真实绑定工具集合。Mutation
Versions, audit and restore
Distribution and lifecycle
Implementation Phases
Phase 1 — Public host contracts
完成 PromptContributor、用户绑定 mutation/version service 与宿主版本存储,抽取通用编排,并由旧 core 工具先复用。实现完整快照、版本指针/审计事务、授权绑定、真实 prompt/hash、并发与部分应用错误语义。公共 API 与宿主不能分开“先占接口”。
Exit: 旧开关路径仍可用且成功写入都有版本;快照/指针/审计可恢复;新契约有可执行测试。
Phase 2 — Standalone extension MVP
创建独立包,迁移策略与工具适配,增加配置与版本兼容验证。默认不增加独立后台服务或 UI。
Exit: core 旧开关关闭时,启用 extension 可以完整完成创建、优化留痕和跨会话复用;第三方包无私有导入。
Phase 3 — Compatibility and publication
提供宿主版本历史、差异预览、恢复确认与 API,完成旧数据按需建基线。落实唯一所有者规则、审核配置兼容、安装/升级/停用/卸载演练与文档,构建发行制品。发布到维护者选定的索引或可信 Git 来源,不预设已存在的仓库与版本。
Exit: 用户可恢复指定整包版本;可复现安装;停用不会重新激活旧 core 入口,且版本与恢复能力继续可用。
Phase 4 — Operational visibility
通过现有 plugin descriptor 和只读 status action 展示部署状态、宿主接口兼容性及重启要求,支持安装故障诊断。
后台优化、强制效果验收和自动灰度/回滚属于后续独立能力;完整包版本、优化留痕和用户主动回退属于本次交付。
Alternatives Considered
Open Questions for Community Feedback
Related Documentation
希望社区优先反馈公共接口边界、唯一所有者兼容规则与首版工具 scope。确认这些后,再按阶段提交实现,保持每个 PR 可独立审查和验证。
All reactions