研究议程｜离散组合评分与协方差适应：如何搜索更合适的 Agent 配置？

[ydflow]

想验证什么

同一个个人任务，可以选择不同的 Skill、Tool、Workflow 与 Model，也可以调整检索阈值、预算比例等参数。我们希望研究：在兼容性、权限与费用约束下，怎样用有限实验找到更合适的组合？

本帖中的组合是 Agent 执行配置，不是证券资产组合；当前没有 Trail 性能提升结果。

两类搜索空间分别处理

搜索空间	例子	拟议方法
离散组件	选哪个技能、工具链、工作流或模型	约束检查、小规模穷举、随机及离散搜索基线
连续参数	检索阈值、探索比例、预算分配比例	归一化、边界约束及协方差适应实验

CMA-ES 官方资料 描述的是连续域黑盒优化。将其用于 Trail 需要先明确低维可调参数、噪声、费用和稳定性；类别开关应由独立的离散机制处理。

评分怎样避免掩盖问题

建议先保留多维报告：任务正确性、证据质量、恢复率、费用、延迟、人工纠正和权限违规。权限、兼容性和预算先作为约束；综合评分若引入权重，必须解释权重来源，并保留原始指标与权衡。

候选生成不使用留出集答案，模型或工具权限变化必须记录为新配置。重复候选和无效组合应在执行前剔除，避免把费用消耗误当探索能力。

最小实验建议

1. 选一个只读、工具可回放的小任务族，固定数据、模型版本与总预算。
2. 用可穷举的小离散空间校验评分与排序。
3. 对低维连续参数比较固定值、随机搜索和协方差适应。
4. 使用多个种子和重复运行，记录均值、分布、失败及费用。
5. 最后再和 Harness²/RSI 循环结合，做增量消融。

协方差实验需记录每代候选、均值与矩阵、数值稳定和边界处理；无收益或退化同样构成有效结论。

欢迎补充

• 哪些参数确实连续可调，哪些只是看起来像数值的类别？
• 什么指标最贴近个人助理的真实价值？
• 怎样证明优化没有记住评测集？
• 在什么预算下，简单人工配置已经足够好？

实施任务：离散组合评分 #29、协方差适应 #30、融合实验 #33。

---

社区导航 · 项目愿景 · 实施 Roadmap