Agent 技能自我进化：Hermes 式学习循环在 DeepSeek Harness 上的落地

[QIANLING-0831]

1. 背景：DSH 原生 skill 系统是什么

DSH 自带技能系统（@deepseek-ai/dsh-skill + dsh-skill-filesystem + dsh-tool-skill）：

• 技能是 Markdown 文件 + YAML frontmatter，两种布局：目录包 <name>/SKILL.md 或平铺 <name>.md；
• frontmatter 至少含 name（kebab-case）与 description，可选 whenToUse、disable-model-invocation、user-invocable；
• dsh-skill-filesystem 从若干"根"扫描技能并注入会话技能目录，根有优先级（项目 .dsh/skills 100 > 用户 $DSH_HOME/skills 400 > bundled 600）；
• 模型通过原生 skill 工具按名加载技能正文。

---
name: "pnpm-recovery"
description: "Fix lockfile mismatch"
whenToUse: "当 pnpm install 失败时"
---
Run `pnpm install --no-frozen-lockfile`, then rebuild.

关键点：技能文件是纯文本、无插件状态——所以"自己写技能"本质上就是"写这些 Markdown 文件"。

2. 技能管理器：让模型能增删查

模型通过三个工具操作技能（dsh-memory-skills 提供）：

工具	作用
skill_write(name, description, whenToUse?, content)	创建/更新技能，写 DSH 原生文件
skill_delete(name)	删除托管技能
skill_list()	列出可用技能（原生目录 + 托管的，标记 (managed)）

核心是原子写（写临时文件再 rename），失败不残留半成品：

write({ name, description, whenToUse, content }) {
	assertSkillInput(input);                       // kebab-case + 必填校验 + 上限
	const file = this.pathFor(input.name);
	const tmp = `${file}.${randomUUID()}.tmp`;
	writeFileSync(tmp, renderSkillFile(input), "utf8");
	renameSync(tmp, file);                          // 原子替换
	return { created, path: file };
}

写入目标默认 $DSH_HOME/skills（正是 dsh-skill-filesystem 的 user-dsh 根，rank 400，目录自带 watcher 自动失效缓存）——写完立刻进会话技能目录，下一步就能被原生 skill 工具加载，无需重启。

3. 后台自我进化：反思 → 蒸馏 → 写技能

"后台"意味着不在请求路径上（fire-and-forget），不能打断主循环、不能污染会话历史、不能动 KV 前缀缓存。

3.1 触发：定时 + 水位线

// 每 evolveIntervalMs（默认 60s）跑一次
setInterval(() => this._evolveTick().catch(...), this.config.evolveIntervalMs);

async _evolveTick() {
	for (const session of this.ctx.sessions.list()) {
		const state = db.prepare("SELECT last_seq FROM skill_evolve_state WHERE session_id=?").get(session.id);
		const fresh = session.events.filter(e => e.seq > (state?.last_seq ?? -1));
		// 启发式门槛：近期有足够长的 assistant 消息
		// 冷却期：每会话 evolveCooldownMs 内不重复
		// 到达则 _evolveSession(...)，最后回写水位线
	}
}

水位线保证每段事件只被反思一次；冷却期 + 窗口（最近 N 条）+ 门槛把 LLM 成本压平。

3.2 反思：一次严格 JSON 契约的 LLM 调用

向 ctx.llm.stream 发一条固定的 system prompt（"背景技能策展人"），要求只返回 JSON：

{"evolve": true, "name": "kebab-case 技能名", "description": "一句话",
 "whenToUse": "何时用", "content": "Markdown 正文", "reason": "为何值得留存"}
{"evolve": false, "reason": "一次性内容，不构成技能"}

解析时剥掉 ```json 围栏、用括号配平提取首个 JSON，容错降级为"跳过"：

const parsed = parseEvolutionResponse(text);
if (!parsed?.evolve) return { kind: "skipped" };
if (!isSkillName(parsed.name) || !parsed.description || !parsed.content)
	return { kind: "invalid" };
this.writeSkill({ name: parsed.name, description: parsed.description, content: parsed.content }, { sessionId });

3.3 记录与容量

• 每次动作写入派生库 skill_events 日志（created / updated / skipped / invalid / cap / error），可查；
• 托管技能有上限（默认 50），达上限时跳过并记 cap，避免白烧 LLM；
• 技能文件是纯 Markdown，卸载插件也不丢。

4. 与 dsh-memory-evolve（205★）的取舍

社区已有大而全的 dsh-memory-evolve（五轨记忆 + 技能自进化 + COI 调度 + WebUI）。dsh-memory-skills 刻意小而聚焦：

• 只做"技能管理器 + 后台反思蒸馏"这一件事，~700 行，零运行时依赖；
• 直接写 DSH 原生技能文件，复用官方 skill 系统，不另起炉灶；
• 与全家桶其他包（CJK 检索 / 混合检索 / 去重）组成完整记忆地基。

要不要上 WebUI、多人协同、git 分支感知，属于后续扩展项。

5. 真机验证与一个真实踩坑

在真实 harness（headless profile）用一次性任务跑通了完整闭环：

skill_write  → 生成 $DSH_HOME/skills/verify-tool.md，frontmatter 正确，实时进会话目录
skill_list   → - verify-tool (managed): verification skill for testing
skill_delete → 文件删除，目录实时清空
skill_events → 记录 created / deleted（含会话 ID / 时间戳）

踩坑记录（值得写进你的实现）：cordis 插件加载器读命名导出——如果你的插件同时 export default apply，加载器会把裸函数当入口，inject 列表失效，启动报 cannot get property "tools" without inject。其他官方插件都没有默认导出，照做即可。

6. 小结

• 技能 = DSH 原生 Markdown 文件 → 用 skill_write 增删、用 ctx.skills 目录暴露；
• 自进化 = 定时水位线扫描 + 一次严格 JSON 反思 + 原子写 + 日志，全部在请求路径之外；
• 真机验证证明：写入即对会话可见，增删查闭环，日志可审计。

仓库：https://github.com/QIANLING-0831/dsh-memory-plus （packages/dsh-memory-skills，MIT）

欢迎试用、提 issue。

[weijiafu14]

很有意思的对照——你在 DSH 上落地 Hermes 式技能循环，而 Pi 生态那个「原版」pi-hermes-memory 本身也能经 pi2dsh 在 DSH 上原样跑（我们端到端验过跨会话召回，example）。两边分层正好互补：你的循环产出 skills（过程性知识，写 DSH 原生技能文件），它存的是 memories（事实 / 教训 / 纠偏，自有 SQLite + 启动注入）。

有一点你的落点其实更原生：hermes 内部也有 skill 管理工具，但写的是 Pi 形状的技能文件，在我们的桥下被重定向到内部目录、进不了 DSH 原生技能根；你直接写 $DSH_HOME/skills（rank 400 + watcher 即时生效）是正确的宿主侧姿势。

它有一条设计经验或许对你的 3.2（反思 → 写技能）有用：hermes 把「永久置顶」类内容结构性挡在模型写入路径之外——/memory-pin 故意做成斜杠命令而非工具，源码注释原话 "makes model-authored standing instructions structurally impossible rather than merely forbidden by prompt"；后台蒸馏只能写普通记忆。你的 evolve 循环直接往 $DSH_HOME/skills 写，模型产出的技能和人手写的技能同权——长期跑下来或许值得留一个「模型永远写不到」的层，或至少像你已做的那样用 (managed) 标记 + 上限兜底。

利益相关：pi2dsh 是我们维护的。