调研：Jev / Laya 与轻量决策模型在 Agent Memory 中的应用及 PowerContext 建议

[AlexStocks]

结论摘要

市场上已经有多个 Agent Memory 系统真正接入 Jev，但公开证据仍主要来自论文原型、可选插件和探索性评测，尚不足以证明它已经成为成熟的生产标准组件。

• Jev 已有真实采用，但层级不同：Jev-Mem、Agent Beacon、AtMem 和 MemSearch 直接进入记忆链路；OpenClaw 官方开发线已合入 provider 中立的决策模型基础设施；Hermes 则是社区插件/Skills 加官方仓库中的评测与目录收录，不能写成 Hermes 核心默认采用。
• Laya 暂无 Agent Memory 采用先例：在公开 GitHub 代码、项目文档和中英文资料中，尚未发现 Agent Memory 系统实际使用 Laya 并公布效果。这是“公开检索未发现”，不是对私有系统的否定证明。
• Jev 的重排效果有正有负：它在 AtMem、MemSearch 的候选排序上有提升，但 MemSearch 中专用 Voyage reranker 仍明显更好；重排也无法找回第一阶段未召回的证据。
• 对 PowerContext 的建议不变：不要把 Laya 内置为默认或承重判断引擎；Jev 值得继续做 opt-in、可回退、可复现的对照实验，但权限、生命周期、证据身份和预算必须继续由确定性代码掌握。

为什么这类模型会进入 Agent Memory

Agent Memory 的写入和读取路径里包含大量高频、有界判断：

• 一条观察是否值得进入长期记忆；
• 新旧记忆是什么关系；
• 当前查询该走哪一种检索路径；
• 哪些候选更可能支持当前任务；
• 当前证据是否足够，是否还要继续搜索；
• 一段执行轨迹是否值得提炼为 Experience 或 Skill。

这些问题通常只需要布尔值、有限类别或等级分数，不需要生成长文本。Jev/Laya 这类 System-One 模型的价值主张，就是用更轻量的结构化判断替代部分自回归 LLM 调用。

但检索和判断必须分开：设第一阶段候选池为 C_N，重排后的结果为 S_k，则始终有 S_k ⊆ C_N。判断模型可以改善候选顺序，不能找回未进入候选池的证据；概率也不能变成授权、执行成功或完成证明。

已公开的真实采用案例

系统	Jev 的位置	公开效果	证据边界
Jev-Mem	覆盖写入分类、关系判断、查询路由、预算、候选评分和停止判断的完整 memory control plane	作者报告 LoCoMo 总分 0.700 → 0.777，相对 +11.0%；构建时间 1044s → 158s，约 6.6x；查询延迟 1.47s → 0.93s，降低 36.7%	有真实控制器代码，但没有公开读/写控制分项消融数字；仓库明确说明公开 smoke 命令不能复现完整论文表，当前完整结果仅覆盖 LoCoMo
Agent Beacon	对 Claude Code、Codex、Cursor 等执行轨迹判断“任务是否成功、修正是否可复用、证据是否充分”，达到阈值后生成待审候选	没有公开下游任务增益或错误率数据	接入是真实的，但 Jev 只由显式评估命令触发；hook 不自动调用。Jev 只把轨迹送进人工 review queue，不能自动批准、安装 Skill 或执行动作
AtMem + Jev	对 AtMem 已召回的 Top-10 证据作顾问式重排，不参与授权或候选发现	1,986 个 LoCoMo 问题：MRR@5 0.4259 → 0.5868，Recall@1 0.3399 → 0.5423，Recall@5 0.5760 → 0.6420；Recall@10 不变	仅十段会话，存在四个上游标注异常，无置信区间，未测最终回答；40 个远程批次 P50 3.32s、P95 8.74s，是质量/延迟交换，不是速度收益
MemSearch	编码 Agent 的 Markdown 记忆检索后，可选 Jev Noul pointwise reranker	4,344 中英文评测行，实际是 2,172 个问题及其翻译：Recall@5 74.71% → 79.41%，MRR@10 0.6372 → 0.6884	专用 Voyage reranker 更高：Recall@5 81.87%、MRR@10 0.7754；标签为生成标注，原始语料未公开，完整数字不能由第三方独立重跑

这些案例共同说明：

1. Jev 确实可以改善某些候选池的排序。
2. 提升具有明显的数据集和提示词依赖，不能外推为普遍有效。
3. 目前没有证据证明 Jev 优于专用 reranker。
4. Jev-Mem 的整体 +11% 无法归因给重排、停止、写入控制中的某一个环节，因为没有公布相应消融数字。
5. 尚无公开的长期生产指标，例如错误记忆率、冲突处理率、人工 review 量、真实任务成功率或回滚率。

OpenClaw 与 Hermes 生态提供了什么新证据

系统	采用状态	接入方式	证据边界
OpenClaw	官方开发线已合入，opt-in	独立 decisionModel 角色；插件或确定性代码调用 api.runtime.decisions.evaluate；支持 TypeSafe 与本地 ONNX provider	文档面向开发 checkout 和包含该功能的后续版本；provider 包仍是尚未发布的候选包；测试证明契约，不证明模型质量
Hermes 生态	社区插件/Skills 已落地，官方 Hermes Agent 仓库有相关评测和社区目录记录	写入门控、compaction、路由、技能选择和 handoff 实验；普遍采用 fail-open	不是 Hermes 核心默认能力；公开数字是仓库作者自测，不是独立生产 benchmark

OpenClaw 最有价值的经验来自一次失败的集成：最初把 Jev 暴露成工具，让主模型决定是否调用，结果一个小判断被扩成多轮模型对话。现在的设计由应用或插件代码直接调用决策运行时。这样一来，调用时机、超时、fallback 和最终动作都留在确定性代码里。官方文档也明确区分“模型回答”和“获准执行动作”。

OpenClaw PR #152298 于 2026-09-19 合入 TypeSafe adapter 和 opt-in decisionModel。其中 107 项 adapter 测试、1,024 请求 transport 压测和 118 项来源选择测试，是实现和协议证据，不是 Jev 效果或延迟 benchmark。缺凭据、过载、deadline 和 provider 错误会返回结构化 unavailable，由调用方决定跳过、延后或沿用现有行为；输入超限则拒绝，而不是静默截断。

Hermes 生态给出了写入侧和交接侧的正反两类经验：

• jev-memory-gate 只根据候选 entry 做一次 Noul 判断，block_below = 0.25，异常时 fail-open。这个低阈值是针对“漏掉真实偏好比多存废话更贵”的损失函数，不能直接复制到 PowerContext。真正阻止写入还要求 tools.override capability；没有宿主授权时只能退化为建议。
• hermes-jev-skills 的 compaction scorecard 覆盖 7 个真实 session、104 个可回答问题。Jev digest 的闭卷召回为 37.5%，低于 plain last-24k 的 48.1% 和整段对话配 1,200 词预算的 58.7%；允许一次搜索后分别为 68.3%、68.3% 和 75.0%。作者判断 Jev 的排序信号真实存在，但据此生成的 digest 仍然输了，因此默认 handoff 使用整段对话，不做 Jev 预压缩。
• “8 个问题、约 1,540 input tokens、约 $0.00007”是较大协议调用的示例，不是单条 memory gate 的平均实测成本，不能拿来估算 PowerContext 的单位写入成本。

这批材料加强的是接入范式，不是“Jev/Laya 已被证明更好”：使用 provider 中立接口，由确定性运行时代码直接调用，默认 opt-in，失败时显式回退；有副作用的否决需要 capability 和审计。它没有改变 Laya 的证据结论：公开资料中仍未发现 OpenClaw、Hermes 或其他 Agent Memory 系统采用 Laya 并公布效果。

访谈与官方文档的证据边界

InfoQ 的《Codex 和 Claude Code 都跑偏了，前 OpenAI 研究员称 Jev 出现前 AI 世界是个悲剧》是对 Latent Space 原始访谈的编译，主要信息来自 Jev 创始人本人。它补充了产品目标和集成方法，但不构成新的独立效果评测：

• 没有增加新的 Agent Memory 采用案例，也没有提供独立的准确率、校准或长期生产指标；
• 原始访谈把 RLCD 描述为尚未发表的方法，因此“比 RLHF 更适合决策”仍是厂商技术主张，不能据此提高现有效果证据等级；
• “开放式编程 Agent 都在尝试接入 Jev”没有给出完整项目清单和结果，不能作为采用证明；
• KV Cache、子任务树检索、并行 Agent 共享状态以及让 Jev 协调写入顺序，是值得研究的架构方向，不是已经落地的能力；
• 欧洲用户“约 3 倍而不是约 100 倍”的速度描述缺少测试配置、基线和原始数据，不用于 PowerContext 的选型判断。

这份材料能够确认的是 Jev 当前的产品契约：官方文档明确说明 Jev 不是编码 Agent 主模型的直接替代品，而是供应用或 Agent 在路由、分类、评分和 guardrail 等有界判断中调用。复杂任务应拆成原子问题，状态与问题结构化传入，Choice、Noul 和 Score 的结果由代码组合；这与“模型只提供 advisory signal，最终行为由确定性代码控制”的 PowerContext 边界一致。

Laya 的判断

Laya 在工程和许可上很有吸引力：Apache-2.0、开放权重、可本地运行，提供 HTTP serve，并实现了近似 Jev POST /v1/systemone 的协议形状。

但协议相似不代表行为等价：

• confidence 计算语义与 Jev 不同，Jev 阈值不能直接移植；
• 核心 API 没有原生 abstention/拒答出口；
• zero-shot、中文决策、高基数分类和分布外输入存在明显失效面；
• score 可以做 pointwise 分档，但公开证据不足以证明它能承担记忆重排；
• 项目非常新，GitHub 热度不能解释为生产采用度。

因此，Laya 可以用于 Jev-compatible 协议通路或本地部署 demo，但不应作为 PowerContext 的默认或承重判断引擎。若未来重新评估，前提应是：用 PowerContext 自有 memory/handoff 数据微调并重新校准，在冻结的中英文 held-out 集上与 Jev、现有 LLM reranker、专用 reranker 和无重排基线做同条件比较。

其它值得关注的路线

• LightMem 用小型自回归模型分别承担检索规划、语义筛选/重排和在线写入。作者报告相对 A-MEM 平均 F1 约 +2.5，检索 P50/P95 为 83/167ms，端到端为 581/1325ms。但它仍需要 1B/1.5B 模型、LoRA 训练数据和离线大模型整理，不是 Laya 式 drop-in 判断器。
• MemGate 是 9M 参数、35.1MB 的查询条件门控器，位于向量召回和上下文组装之间。作者报告 OpenClaw/GPT-4o-mini 上跨域泄漏 27.0% → 3.5%、记忆诱导 jailbreak 16.8% → 4.4%，LoCoMo F1 38.9 → 40.8。它提示模型可以增加“语义安全/适用性”层，但不能替代权限检查。
• Zero-Mem 走相反路线：memory 操作不用 LLM，通过图、时间层级和确定性校准选取证据；作者报告 memory-operation latency 降低 57.6%。这说明高频记忆控制并不天然要求模型化。
• 工程上更成熟的常态仍是窄任务组件：BM25/向量搜索负责广召回，BGE/Voyage/Jina cross-encoder 负责重排，规则负责预算与停止，代码负责权限、生命周期和失败回退。

对 PowerContext 的建议

1. 保持确定性权威边界

Scope、授权、Artifact/Memory 生命周期、证据身份、最终 UTF-8 字节预算和执行权限继续由 PowerContext 确定性代码掌握。任何模型分数都只能是 advisory signal。

2. 建立 provider 中立的确定性调用层

PowerContext 若引入决策模型，应定义独立的 DecisionModel 角色/Protocol，让托管 Jev、本地 Laya 或其他后端共享结构化 evaluate 契约。调用点放在 reranking、写入候选检查、handoff 咨询等确定性 runtime 中，不做成 MCP/tool 等待主模型自行决定何时调用。

第一阶段默认 opt-in，并优先运行 shadow mode：记录模型会如何判断，但不改变现有结果。审计记录至少包含 provider/model ID、rubric/schema 版本、输入证据身份、结果、耗时、fallback 原因和最终动作。缺凭据、超时、过载等可用性故障可以回退；取消、权限关闭和契约错误不能被笼统吞成 fail-open。

对于可能没有正确答案的问题，应把“证据不足/都不适用”写成显式 Choice，而不是假设信息不足时模型自然会返回接近 0.5 的分数。

3. 继续 #1643，但把它定义为对照实验

#1643 当前要求在同一候选池、查询集、下游模型和上下文预算下比较：

• 无重排；
• 当前 LLM reranker；
• Jev；
• 合适的专用 reranker。

这个方向是正确的。外部证据支持“值得实验”，不支持“应直接采用”。评测必须同时覆盖中文、否定、日期/版本约束、无有用候选、超时和 provider 失败，并报告候选覆盖率、MRR/NDCG、实际注入证据、下游任务成功率、P50/P95、调用成本和 fail-open 次数。

4. 借鉴 Beacon 与 Hermes 的写入侧 review gate

比让模型直接批准 Experience/Skill 更稳妥的做法是：模型只判断一段运行轨迹是否值得进入 review queue，Candidate 继续保留来源、证据和评分，最终由现有 Review 生命周期批准或拒绝。模型不得自批、自安装或把分数写成可执行指导。

若模型判断要阻止写入，必须由宿主显式 capability 授权并留下审计记录；否则只能降级为建议。Hermes 的 0.25 阈值也不能照抄，它体现的是特定的误杀成本。PowerContext 应在自己的重复、冲突和低质候选数据上校准阈值，必要时送人工复核，而不是静默丢弃。

5. 不用决策模型预压缩 handoff

Hermes 的评测已经给出反例：Jev 的排序信号存在，但 keep/summarize/drop digest 的召回低于 plain transcript 和整段对话方案。PowerContext 可以让决策模型判断“是否需要升级人工”或“是否缺少某类证据”，不应让它先生成承重摘要再丢弃原始交接内容。

6. 不替换现有 model-free recall sufficiency gate

PowerContext 已有有界、可解释、无外部调用的 recall sufficiency gate。Jev-Mem 没有提供足够的分项消融证据证明模型停止器更好，因此没有理由先替换确定性路径。

7. Laya 只保留为实验件

短期可用于 #1646 一类协议通路/demo，但 demo 只能证明“能够接通”，不能证明能力、校准、中文表现或生产收益。

8. 固定模型版本，并把校准和稳健性纳入验收

Jev 创始人在访谈中建议把复杂任务拆成最小、可独立评估的判断：Choice 用于有限分支，Noul 用于条件判断，Score 用于评分和筛选；状态、指令和判断标准使用结构化输入，最终行为继续由代码控制。这个集成模式可以借鉴，但必须补上以下工程约束：

• 区分 probability、confidence 和经验正确率。 Jev Confidence 文档说明，Choice/Score 的 confidence 是从输出概率分布集中程度派生的统计量，Noul 则直接返回 0–1 结果且没有独立 confidence 字段。它们不能被无条件解释为“结论正确的概率”。
• 阈值不得直接迁移。 阈值必须按模型、版本、primitive、任务、语言和数据分布重新校准；Jev 与 Laya 的阈值不能互换，同一 provider 升级版本后也不能默认沿用。
• 固定版本化模型 ID。 Jev 模型文档明确说明 jev-latest 和 jev-preview 会随发布移动，背后的答案可能改变。可复现实验和生产配置应固定实际版本，记录响应中的 model ID、问题 schema、阈值和校准集，并在升级前重跑冻结评测。
• 单独验证中文。 Jev 官方文档说明英语是主要训练语言且准确率最好，包括 CJK 在内的其他语言表现并不相同。这为 feat(memory): add an optional Jev reranker with comparative evaluation #1643 保留中英文 held-out 集提供了直接依据。
• 同时测试校准和稳健性。 在现有候选覆盖率、MRR/NDCG、实际注入证据、下游任务成功率、P50/P95、成本和 fail-open 次数之外，还应报告 calibration curve、ECE 或 Brier score、不同阈值下的 coverage/error 与 risk-coverage、无有用候选和分布外输入时的 abstain/fallback 正确率。
• 加入语义不变扰动。 对同一判断加入无关 UUID、空白、字段顺序变化和中英文同义改写，检查结果及阈值决策是否稳定；稳健性通过后，仍不能替代授权、生命周期或执行层的确定性检查。

建议的决策门槛

在 PowerContext 自有 memory/handoff 语料上完成冻结评测前，当前最稳妥的结论是：

Jev 和轻量控制模型值得作为 provider 中立、可替换、可回退的 advisory provider 继续实验；调用应发生在确定性 runtime 中，并先经过 opt-in/shadow 验证；Laya 暂不进入内核；权限、事实和生命周期边界保持确定性；handoff 不使用决策模型预压缩；任何采用结论必须由 PowerContext 自身的候选池、下游任务成功率和真实成本共同决定。

参考资料

• Cortrix：《基于 Semantic 找证据，Jev / Laya 帮 Agent 做决定》
• 智猩猩 AI：《Agent 记忆有了 Jev 新方案，登上 Hugging Face 趋势榜》
• Jev-Mem paper / repository
• Agent Beacon
• AtMem–Jev retrieval study
• MemSearch reranking evaluation
• OpenClaw：Decision models in OpenClaw
• OpenClaw：Decision model documentation
• OpenClaw PR #152298
• Hermes Jev plugins
• Hermes Jev Skills
• Hermes compaction scorecard
• Hermes Agent
• Laya
• LightMem
• MemGate
• Zero-Mem
• InfoQ：《Codex 和 Claude Code 都跑偏了，前 OpenAI 研究员称 Jev 出现前 AI 世界是个悲剧》
• Latent Space：Jev: System One models for Prod, not God
• TypeSafe：Jev with coding agents
• TypeSafe：Models and version aliases
• TypeSafe：Confidence
• TypeSafe：State
• TypeSafe：Confidence-gated routing

关键结论已回查公开论文、源码、评测说明和当前 GitHub 状态。公开检索的截止日期为 2026-09-25。