Plugin API: Skill Lifecycle Hooks for Self-Evolving Skills

[a1461750564]

RFC: Plugin API — Skill Lifecycle Hooks for Self-Evolving Agents

背景

目前 QwenPaw 的 PluginApi 只暴露了 register_startup_hook 和 register_shutdown_hook，插件无法感知技能的运行时行为。这意味着：

• 技能执行失败 → 插件不知道
• 技能质量下降 → 插件不感知
• 技能被频繁调用/从不调用 → 插件无数据

社区已有多人遇到这个限制（见 #3363 关于深度感知能力的讨论）。

我们开发了 Skill Evolution Engine（技能质量评估 + GEPA 反射式进化），但因为缺少运行时 Hook，只能做成被动 API，无法实现真正的自我进化。

提议：新增 3 个 PluginApi Hook

api.register_post_skill_hook(
    hook_name: str,
    callback: Callable[[SkillExecResult], None],
    priority: int = 100,
)

@dataclass
class SkillExecResult:
    skill_name: str
    success: bool
    error: str | None        # 失败时的错误信息
    token_used: int
    duration_ms: int
    user_feedback: str | None  # 用户的显式反馈（"这个技能不好用"等）
    agent_id: str
    timestamp: str

api.register_on_failure_hook(
    hook_name: str,
    callback: Callable[[SkillFailure], None],
    priority: int = 100,
)

api.register_on_skill_event(
    hook_name: str,
    callback: Callable[[SkillEvent], None],
    event_types: list[Literal["created", "updated", "deleted", "activated", "deactivated"]],
)

使用场景

场景	实现方式
技能自进化	post_skill_hook 采集执行数据 → 积累 N 次失败 → 自动触发 GEPA 进化
质量监控	on_failure_hook 实时告警 → Web 控制台展示技能健康度
使用统计	post_skill_hook 采集 token 消耗 → 用量分析
冷技能发现	一段时间未被调用的技能 → 建议归档或优化
用户反馈驱动	post_skill_hook.user_feedback → 针对性优化

示例：Skill Evolution Engine 接入后

class SkillEvolvePlugin:
    def register(self, api: PluginApi):
        api.register_post_skill_hook(
            "skill_evolve_collector",
            callback=self._on_skill_executed,
            priority=100,
        )

    def _on_skill_executed(self, result: SkillExecResult):
        if not result.success:
            self._failure_tracker.record(result.skill_name, result.error)
            # 累计 N 次失败后自动触发进化
            if self._failure_tracker.count(result.skill_name) >= 3:
                self._auto_evolve(result.skill_name)

实现考虑

1. 性能：Hook 回调应异步执行，不阻塞主流程
2. 超时：回调设置超时（默认 5 秒），超时后忽略
3. 异常隔离：某个 Hook 崩溃不影响核心流程
4. 数据量：SkillExecResult 不包含完整对话内容，只含元数据
5. 向后兼容：新增 API，现有插件不受影响

附

已有实现参考：github.com/a1461750564/qwenpaw-skill-evolution（GEPA 进化引擎，等待 Hook API 落地后从被动转为主动）

[a1461750564]

Roadmap: From Passive Evaluator to Self-Evolving Plugin

受 Nous Research Hermes Agent Self-Evolution 启发，我们规划的完整路线图：

Phase 1 ✅ 已完成

• 5 维 Skill 评估（structure/completeness/conciseness/safety/code_quality）
• GEPA 反射式进化（失败日志 → 根因分析 → 补丁 → Holdout 验证）
• 暂存区机制（.staged/，用户确认后生效）
• LLM-as-Judge 语义评估
• 依赖探测 + 上下文生成
• Web 控制台（雷达图、暂存管理、Token 趋势）
• MCP 服务器（FastMCP stdio 模式）

Phase 2 🚧 依赖 Hook API（即本 Discussion 的核心诉求）

• 注册 post_skill_hook 自动采集技能执行数据
• 注册 on_failure_hook 自动捕获失败日志
• 累计 N 次失败后自动触发 GEPA 进化
• 无需 Agent 手动调用 API

Phase 3 🗺️ 工具描述自动进化

• 读取 plugin.json 和技能中的工具描述
• 自动评估描述质量（清晰度、准确性）
• GEPA 进化 → .staged/ → 用户确认

Phase 4 🗺️ 合成数据集 + 基准测试门禁

• 从 QwenPaw 会话历史挖掘训练数据
• 自动生成评估数据集
• 基准测试门禁（进化后必须通过回归测试）

Phase 5 🗺️ 持续自进化循环

• 后台定时扫描技能健康度
• 低分技能自动触发进化
• 进化结果推送到控制台通知
• 用户一键确认应用

这 5 个 Phase 全部作为 QwenPaw 插件实现，不需要改核心代码。唯一阻塞点是 Phase 2 需要的运行时感知 Hook。