# 模型、数据与 Agent 应用安全

[English](04-AI-Model-Data-and-Agent-Application-Security.en.md) | 中文

本文固定 SecFusionAgent 对模型与数据层、AI 应用与 Agent 层的风险分类、证据链、持续监测对象和 runtime security requirements。本文承接 [01-Data-Sources-and-Processing](01-Data-Sources-and-Processing) 的证据/object/relation contract、[02-CTI-Baseline-Reuse-and-Ownership](02-CTI-Baseline-Reuse-and-Ownership) 的 reuse-first policy，以及 [03-Normative-Knowledge-and-Policy](03-Normative-Knowledge-and-Policy) 的 control / runtime policy 关系。供应链中的 package、产物、image、dependency 来源链路仍由供应链专题持有。

调研快照日期为 `2026-09-24`。稳定知识优先引用综述、顶会论文、厂商 security advisory、GHSA/CVE、OWASP 与 MITRE ATLAS；2026 年 arXiv 预印本用于发现前沿洞察，并保留 `preprint` 状态。攻击、防御与 residual risk 分开记录，防御论文的有效结果不直接升级为“风险已解决”。

## 风险对象与证据

模型与数据层主要描述训练数据、模型制品、模型行为、隐私与 retrieval/embedding 的安全属性；AI 应用与 Agent 层描述模型如何通过 context、tool、身份、memory、network、sandbox 与外部系统发生作用。两层可以共享同一证据，但事实归属由具体对象决定。

Prompt injection 是典型跨层 technique：输入或 retrieved content 对模型行为产生影响时关联模型/数据层；该影响继续驱动 tool call、browser action、文件写入、网络请求或权限使用时关联 Agent/Application 层。MCP server、skill、plugin 自身的来源链路与发布链归供应链；它在运行时导致 tool misuse、RCE、credential abuse 或 state poisoning 时，影响事实归 Agent/Application 层。

风险发生位置与 mitigation 部署位置分开建模。data poisoning 可以由 dataset 来源链路、训练流水线校验和模型扫描缓解；jailbreak/prompt injection 的控制可以落在模型、context gate、tool policy、sandbox、network gateway 或 human approval；model extraction 可以由 API policy、rate limit、monitoring 等部署层措施降低风险。系统保存 `RiskTechnique --affects--> Object` 与 `Control --mitigates--> RiskTechnique` 两条关系，并记录 `mitigation_layer` 与 residual risk。模型层防御无法承担的 security 边界由独立 system control 承担。

情报对象统一保存以下字段：

```text
risk_family
technique
affected_object
lifecycle_stage
precondition
attack_mechanism
impact
threat_model

evidence
reproduction / benchmark
mitigation
mitigation_layer
evaluation_condition
adaptive_attack / known_bypass
residual_risk

source_id
product_source_category
source_role / evidence_maturity
venue / vendor
publication_or_disclosure_date
revision
```

论文结论还需要记录 `claim`、`supports / contradicts / extends` 与对应 paper 版本；厂商 incident/advisory 记录 affected version、patched version、attack chain 和 remediation。

## 模型与数据层

### 风险分类

模型与数据层按攻击发生位置和对象组织为五组。OWASP、MITRE ATLAS 等 operational 分类体系用于工程映射，学术结论由综述、顶会论文和评测集支撑。

| Risk family | 主要对象 | 典型风险 | 主要证据 |
|---|---|---|---|
| Training / Fine-tuning Integrity | training sample、dataset、fine-tuning corpus | data poisoning、label poisoning、training backdoor、covert control | dataset、paper、评测集、训练流程报告 |
| Model Artifact Integrity | 检查点、适配器、LoRA、model merge | model poisoning、backdoored model、malicious 产物 | model hub、产物元数据、paper、repo、security report |
| Inference / Alignment Integrity | model behavior、instruction hierarchy | jailbreak、adversarial prompting、safety bypass | red-team report、paper、评测集、provider report |
| Confidentiality / Privacy | training data、model parameters、system information | training-data extraction、membership inference、model extraction、system prompt leakage | paper、incident、评测集、provider report |
| Retrieval / Embedding Integrity | document corpus、embedding、retriever、RAG context | RAG poisoning、retrieval manipulation、embedding attack、indirect prompt injection | paper、RAG corpus、retrieval 评测集、Agent/RAG report |

### 文献证据链

模型与数据分类体系使用两篇 ACM Computing Surveys 作为综述入口：[Security and Privacy Challenges of Large Language Models: A Survey](https://doi.org/10.1145/3712001) 和 [Unique Security and Privacy Threats of Large Language Models: A Comprehensive Survey](https://doi.org/10.1145/3764113)。综述负责覆盖边界，具体风险继续挂代表性攻击、防御和后续 bypass 证据。

Training / Fine-tuning Integrity 的证据链已经覆盖从现实可行性到 defense bypass。IEEE S&P 2024 的 [Poisoning Web-Scale Training Datasets is Practical](https://doi.org/10.1109/SP54263.2024.00179) 展示 web-scale dataset poisoning 在现实数据采集流程中的可行攻击面；USENIX Security 2025 的 [EmbedX](https://www.usenix.org/conference/usenixsecurity25/presentation/yan-nan) 展示 embedding-space backdoor；IEEE S&P 2025 的 [BAIT](https://doi.org/10.1109/SP61157.2025.00103) 研究 LLM backdoor scanning。USENIX Security 2026 的 [Cordyceps](https://www.usenix.org/conference/usenixsecurity26/presentation/shao-zedian) 进一步展示通过 poisoning 形成 covert control，并在其 threat model 下绕过多类 backdoor 和 prompt-injection defense。该链支持 `attack -> mitigation -> adaptive/bypass -> residual risk` 的数据模型。

Inference / Alignment Integrity 和 prompt injection 的证据需要保留 adaptive attacker。USENIX Security 2025 的 [StruQ](https://www.usenix.org/conference/usenixsecurity25/presentation/chen-sizhe) 通过 structured query 分离 trusted instruction 与 data；USENIX Security 2026 的 [The Attacker Moves Second](https://www.usenix.org/conference/usenixsecurity26/presentation/nasr) 针对 12 个近期 jailbreak / prompt-injection defenses 设计 adaptive attack，并在其中多数 defense 上得到超过 `90%` 的攻击成功率。SecFusionAgent 因此记录 defense 的 evaluation threat model、adaptive evaluation 和 known bypass，不把静态评测集上的低 ASR解释成完整安全边界。

Retrieval / Embedding Integrity 需要把 retrieval 本身视为攻击链的一段。USENIX Security 2025 的 [PoisonedRAG](https://www.usenix.org/conference/usenixsecurity25/presentation/zou-poisonedrag) 证明 knowledge corpus poisoning 能诱导目标回答；USENIX Security 2026 的 [Overcoming the Retrieval Barrier](https://www.usenix.org/conference/usenixsecurity26/presentation/chang-hongyan) 进一步研究恶意内容如何在自然查询下被真实 retriever 命中，并给出跨 RAG 和 agentic 工作流的端到端攻击。因此相关 intelligence 需要同时保存 `retrieval_success`、`execution_success` 与 downstream impact。

系统提示词泄漏、隐私泄漏等 operational risk 的学术成熟度不完全一致。SecFusionAgent 保留这种证据强度差异：OWASP 标签可作为 risk object 的工程入口，顶会或经过验证的 attack paper 决定我们能对 feasibility、impact 和 mitigation 说到什么程度。

### 模型 / 数据前沿 insight

2026 年论文需要承担“已有认知发生了什么变化”的展示作用。当前可直接进入首批洞察的样本包括：

| 证据 | 新增洞察 | 对系统 schema 的影响 |
|---|---|---|
| [Cordyceps, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/shao-zedian) | poisoning 可以形成基于语义关联的 covert control，固定 trigger 分类体系不足 | 增加 covert control、semantic trigger、defense bypass、persistence |
| [The Attacker Moves Second, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/nasr) | defense robustness 需要 adaptive attacker 验证 | 增加 adaptive evaluation、known bypass、residual risk |
| [Overcoming the Retrieval Barrier, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/chang-hongyan) | retrieval probability 是 indirect prompt injection attack chain 的组成部分 | 增加 retrieval-stage precondition 与 retrieval success |
| [Context Contamination, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/karanjai) | 安全日志等分析输入也能携带 passive prompt injection，分层 defense 后仍存在 residual vulnerability | 外部证据一律保留 untrusted-data 属性 |
| [Evaluation of Prompt Injection Defenses, arXiv 2026](https://arxiv.org/abs/2604.23887) | 预印本实验支持把 independent application-code enforcement 与 model self-protection 分开评估 | `evidence_status=preprint`，触发 system-gate 方向后续追踪 |

前四项可作为稳定或同行评审证据；arXiv-only 工作保持 preprint 标记，等待后续正式发表或独立复现。

## AI 应用与 Agent 层

### 风险分类

Agent/Application 风险更接近软件系统安全。模型负责规划和 tool selection，真实 impact 由 capability、身份、execution 边界、network、memory 和 side effect 决定。OWASP Top 10 for Agentic Applications 2026 提供 operational 分类体系；SecFusionAgent 按实际 trust 边界收敛为六组。

| Risk family | 被破坏的边界 | 典型对象 |
|---|---|---|
| Goal / Context Hijack | user intent 与 untrusted content 的权威分离 | web、email、repo、document、tool output |
| Tool / Action Misuse | 模型能否把观测转成真实 side effect | tool、API、browser action、shell、MCP |
| Identity / Privilege Abuse | Agent 代表谁、持有什么 scope、credential 生命周期多长 | user 身份、service account、OAuth token、secret |
| Execution Boundary Failure | 受控执行是否越过 process/container/VM/host 边界 | shell、filesystem、runtime、sandbox、host bridge |
| Memory / State Poisoning | 临时输入是否能晋级成跨 session 的可信状态 | memory、thread、preference、workspace state、config |
| Inter-Agent / Workflow Trust | delegation 和 message passing 是否扩大被污染 agent 的权限 | orchestrator、peer agent、shared memory、工作流 state |

Agent/Application graph 维护以下关系：

```text
Agent reads Context
Agent invokes Tool
Agent acts-as Identity
Agent executes-in Sandbox
Agent reaches Network
Agent reads/writes Memory
Agent delegates-to Agent
Agent causes SideEffect
```

安全调查关注攻击者在哪条 relation 上获得 influence，以及哪项 capability 将 influence 转换为真实 impact。

### 代表案例

公开证据已经覆盖 tool、sandbox、network、MCP、memory、multi-agent 和 computer-use。不同子领域的证据成熟度不同：tool/sandbox/MCP 有厂商 advisory 和 CVE；memory 与 multi-agent 仍以 ATLAS、同行评审论文和近期 preprint 为主。

| Surface | 代表证据 | 可复用结论 |
|---|---|---|
| Tool / command | [AWS-2025-019](https://aws.amazon.com/security/security-bulletins/AWS-2025-019/)：Amazon Q/Kiro 的 prompt injection 可驱动本地命令、DNS exfiltration 或配置相关代码执行，后续增加 HITL | 高风险命令与 side effect 需要独立 action policy，tool name 安全不代表参数安全 |
| MCP / repo trust | [GHSA-8q5r-mmjf-575q](https://github.com/advisories/GHSA-8q5r-mmjf-575q)：恶意 PR 中 `.mcp.json` 被 Claude Code Action 自动启用，导致 runner RCE 和 secret exfiltration | repo-controlled MCP config 属 untrusted code/config，server enablement 需要来源链路与显式 policy |
| MCP / authentication | [Microsoft 2026 telemetry](https://www.microsoft.com/en-us/security/blog/2026/05/14/configuration-becomes-vulnerability-exploitable-misconfigurations-ai-apps/)：其 Defender for Cloud 信号中 `15%` remote MCP servers 被归为严重不安全并允许未认证访问敏感内部能力 | MCP transport 存在并不等于 authorization 存在；remote server 需要身份、scope 与审计 |
| Sandbox 接缝 | [CVE-2026-39861 / GHSA-vp62-r36r-9xqp](https://github.com/advisories/GHSA-vp62-r36r-9xqp)：Claude Code sandboxed process 创建 symlink，unsandboxed host process 后续跟随并写出 workspace | 跨 sandbox helper / host bridge 需要重新做 trust analysis，单个组件各自受限仍可能组合越权 |
| Tool crosses sandbox | [Microsoft Semantic Kernel CVE-2026-25592](https://www.microsoft.com/en-us/security/blog/2026/05/07/prompts-become-shells-rce-vulnerabilities-ai-agent-frameworks/)：模型可调用 `DownloadFileAsync` 把 sandbox 内文件写到 host 指定路径 | model-controlled tool parameter 按 attacker-controlled input 验证；host bridge 不暴露给模型自由选择路径 |
| Persistent config | [CVE-2026-25725](https://github.com/advisories/GHSA-ff64-7w26-62rf)：sandbox 内代码可创建持久化 Claude Code config，使后续 host session 执行 hook | config/state 具有 persistence，写权限需要与普通 workspace data 分离 |
| Network exfiltration | [OpenAI URL-based exfiltration](https://openai.com/index/ai-agent-link-safety/)：敏感数据可被编码进 URL 请求；trusted-domain allowlist 还会受 redirect 影响 | filesystem 与 network 是独立 enforcement 接缝；egress policy 需要检查完整 URL、redirect 与 destination |
| Computer Use | [OpenAI Operator System Card](https://openai.com/index/operator-system-card/)：2025 research preview 将 website 视为潜在 adversarial actor，采用 confirmations、watch mode、prompt-injection monitor 与 browser sandbox | GUI action 同样属于 privileged side effect；高风险动作需要 takeover/confirmation，浏览环境与本机环境分离 |
| Browser agent | [Anthropic browser-use prompt injection](https://www.anthropic.com/news/prompt-injection-defenses)：网页、邮件等内容可作为 indirect injection surface，厂商明确保留 residual risk | browser content 永久保持 untrusted 观测属性，模型 robustness 不能替代 system enforcement |
| Memory | [MITRE ATLAS AML.T0080](https://d3fend.mitre.org/offensive-technique/attack/AML.T0080/) 将 Agent Context Poisoning 分为 `Memory` 与 `Thread`；[Bad Memory, arXiv 2026](https://arxiv.org/abs/2607.14611) 展示已植入 persistent memory 的 payload 可影响后续 session | memory write、晋升与 read scope 需要来源链路、trust、TTL 与独立 authorization |
| Multi-agent | [Conjunctive Prompt Attacks, ACL 2026](https://aclanthology.org/2026.acl-long.1577/) 展示 star/chain/DAG routing 下跨 agent 组合攻击；[Overcoming the Retrieval Barrier, USENIX 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/chang-hongyan) 在 multi-agent 工作流中给出端到端 exfiltration | agent message 不能继承发送者的 instruction 权威；跨 agent routing 需要来源链路、role-scoped capability 和 end-action authorization |
| Web-agent adaptive attack | [MUZZLE, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/syros) 在 4 个 web apps 中发现 44 个新攻击和 cross-application injection | 静态 prompt set 不能覆盖真实 browser trajectory，评测需要 adaptive red-team 与跨应用 side effect |
| Action authorization | [AttriGuard, USENIX Security 2026](https://www.usenix.org/conference/usenixsecurity26/presentation/he-yu) 把防御点从 input classification 推到 tool-call causal attribution | runtime gate 可以判断 proposed action 是否由 user intent 支持，而不只判断输入是否“像攻击” |

这一轮没有发现与 MCP / tool / sandbox 同等成熟的“多 Agent 厂商事故库”或“memory 厂商 CVE 主线”。因此多 Agent 当前采用 ACL/USENIX 同行评审研究作为稳定证据，memory 采用 MITRE ATLAS + 2026 preprint 作为前沿证据，并继续进入 Research Intelligence Watch。文档不把证据成熟度较低的方向写成已有大规模生产事故事实。

### Memory / State

Agent memory 是独立 trust 边界。memory object 保存内容之外，还需要保存来源、写入者、作用域、生命周期和晋级理由：

```text
value
source
source_trust
writer
created_at
scope
ttl
promotion_reason
read_policy
write_policy
```

网页、issue、邮件、MCP output、peer-agent message 默认以 untrusted 证据进入 session context。把其中内容晋级为 durable memory 需要独立 write policy；跨用户、跨任务、跨 agent 的 memory retrieval 根据身份和 scope 过滤。memory poisoning 的检测与清理不能依赖模型“记得忽略”某条状态。

### MCP 与 Tool

MCP 把 tool discovery、schema 和 invocation 标准化，同时扩大了 tool 来源链路、authorization 和 cross-server trust 的攻击面。OWASP MCP Security Cheat Sheet 已经列出 tool poisoning、rug pull、tool shadowing、confused deputy、over-scoped token、message 重放和 sandbox escape 等风险；这些分类体系用于 monitoring 和测试，不另造项目专用 MCP security 分类体系。

SecFusionAgent 在 Technical Design 中需要给 MCP/tool 建立以下控制字段：

```text
server_identity
server_origin
transport
authentication
tool_schema_hash
schema_revision
approved_capability
credential_scope
side_effect_class
network_scope
sandbox_class
human_approval_policy
```

首次批准后的 tool definition 变化视为新版本；高影响 capability 的 schema、server 身份或 credential scope 变化触发重新审批。tool output 继续按 untrusted data 进入 context。

### Multi-Agent

多 Agent 增加了单 Agent 不存在的 trust propagation：一个低权限 agent 的错误判断可能通过 message、shared memory 或 orchestrator routing 影响高权限 executor。安全边界以每个 agent 的身份/capability 为单位建立，不把“来自内部 agent”作为可信依据。

runtime security requirements 包括：每条 inter-agent message 携带 sender、task、来源链路与 message 版本；delegation 显式记录父任务和 delegated scope；每个 agent 的 tool/credential 按 role 分配；shared memory 具有 writer 与 reader ACL；executor 对高影响 action 重新做 authorization，而不复用上游 agent 的自然语言“已批准”结论。

ACL 2026 的 conjunctive attack 说明多个局部看似正常的 component 可以在 routing 后形成恶意组合，因此边界测试需要覆盖 star、chain、DAG 与 orchestrator/工作进程等 topology，而不是逐 agent 独立测试。

### Browser / Computer Use

Computer Use 把传统 browser/OS GUI 变成通用 tool surface。网页文本、DOM/accessibility tree、图片、邮件、下载文件和跨应用剪贴内容都可能同时承担 data 与 adversarial instruction。OpenAI Operator 和 Anthropic browser-use 的公开安全材料均把 indirect prompt injection 作为持续风险，并采用 model mitigation 之外的确认、monitor、browser isolation 和用户接管机制。

Computer-use policy 需要区分 read、navigate、download、upload、type、submit、send、purchase、delete、credential entry 等 side-effect class。登录、凭据输入和不可逆动作使用 takeover 或 explicit confirmation；browser session 与 host filesystem、credential store、local network 之间建立显式 bridge。下载文件进入 sandbox 后仍保持 untrusted 产物标记，不能因为来自浏览器下载流程就获得执行权限。

## 前沿安全情报监测

模型/数据和 Agent/Application 共享一条前沿安全情报监测链。它监测“新的证据是否改变现有风险认识、attack surface、mitigation、residual risk 或系统设计”，数据源不限于论文。学术论文提供可复现方法和同行评审证据；厂商技术报告、system/model card、安全博客和 incident report 往往更早暴露生产 failure、部署约束和真实 control；独立安全研究补充跨厂商复现、漏洞发现与攻防观察。三类来源分别保存权威和 source type，禁止把厂商自述、preprint 和同行评审论文压成同一证据等级。

### Source portfolio

本节的 `portfolio lane` 是模型/数据与 Agent/Application 专题内部的信息作用分组，不新增 01 的产品 source taxonomy。每个 lane 显式映射到八类 taxonomy；固定监测、按需 scholarly search、正式版本确认和动态 discovery 共用同一 Source Definition / Evidence 边界。

| Portfolio lane | Product taxonomy | 来源 / 入口 | 主要信号 | 默认处理 |
|---|---|---|---|---|
| Academic research | `academic` | arXiv、Crossref、OpenAlex、OpenReview、Semantic Scholar、正式 proceedings、会议季社区整理源 | attack/defense、评测集、survey、adaptive evaluation | 常驻低成本 discovery；按需 scholarly search 缩小空间；正式论文页/DOI 负责 publication resolution；社区整理只做 discovery |
| Frontier lab research | `vendor` | OpenAI Research/Security/System Cards、Anthropic Research/News/System Cards、Google DeepMind Responsibility & Safety、Meta AI safety/security | frontier capability、incident、prompt injection、agent control、model/system evaluation | 保留 first-party authority；技术 claim 与实验抽取为 evidence，产品宣传不自动晋级 Insight |
| China frontier lab | `vendor` | ByteDance Seed Publications、Tech Blog、Model Cards | Agent/Coding/GUI、model/data、long-horizon evaluation、技术报告 | 监测 publication/tech report/model card/重大版本，按 security/capability/architecture relevance 分类 |
| Platform / infra research | `vendor` | Microsoft Security Blog、NVIDIA Security for AI / AI Red Team、AWS Security Bulletins | Agent framework CVE、MCP、身份、sandbox、network、runtime control | incident/advisory 进入 threat evidence；reference architecture/design guidance 进入 control/design evidence |
| Independent security research | `independent` | Trail of Bits、Wiz、HiddenLayer、Unit 42、Talos | MCP/tool poisoning、prompt injection、AI infra exploit、agent incident、red-team、telemetry | 独立复现、telemetry 与跨产品研究用于验证 vendor claim 与发现新 attack pattern |
| Operational taxonomy / community knowledge | `independent` | OWASP GenAI / Agentic、MITRE ATLAS | technique、failure mode、control vocabulary | 用于分类体系 mapping；不替代 attack feasibility 或 defense effectiveness evidence |

ByteDance Seed 当前同时维护公开论文列表、Tech Blog 与 Model Card 页面，并持续发布 Agent、Coding、GUI 和基础模型技术材料。它进入 watch 的价值是补充中国 frontier lab 的生产技术路线与评测集变化，而不是等待某篇论文被 arXiv keyword 命中。

OpenAI、Anthropic、Google DeepMind、Microsoft、NVIDIA 等来源也采用相同原则：系统监测 source stream 本身，而不依赖通用搜索引擎二次发现。first-party report 往往早于正式论文出现，应当作为 M1 固定 source；当内容同时属于 incident 时，可以在 `incidents` coverage 中复用同一 source stream，但 source authority 不因多 category 计数而改变。

### Discovery 与更新

不同来源使用不同 discovery path：

| 来源形态 | Discovery | Update semantics |
|---|---|---|
| arXiv | API / 元数据 query；`cs.CR + cs.CL + cs.AI + cs.LG + cs.IR` 与关键词簇 | 低成本周期 discovery；重点 `arxiv_id` 检查新 version |
| 按需 scholarly search | Crossref、OpenAlex、可用时的 OpenReview / Semantic Scholar、通用 Web 搜索 | M4/M5 按调查问题搜索；优先返回 DOI、venue、年份、正式页面与候选版本，不建立会议/期刊全量本地镜像 |
| conference proceedings | USENIX Security、IEEE S&P、CCS、NDSS、ACL Anthology、NeurIPS 等正式 venue 页面 | Agent 命中候选论文后做 publication resolution；acceptance、camera-ready、正式 DOI 形成状态更新 |
| conference curation | 会议季 GitHub 导读、分类仓库、accepted-paper explorer | 在数千篇论文中提供高召回导航、主题分类和 code/project link；作为 discovery hint，不提升证据权威 |
| vendor publication / blog | 官方 index、RSS/Atom（存在时）、sitemap 或列表页 diff | 新文章、technical report、system/model card、incident update；同 URL 内容变化保存新版本 |
| security research blog | 官方 research/category index、RSS/Atom 或 sitemap | 新 disclosure、telemetry、follow-up、修复更新；关联 CVE/GHSA/vendor response |
| model/system card | 官方 model 发布/card index | 新模型、card 版本、安全评测或 capability 边界变化 |

网页抓取记录 `canonical_url`、`published_at`、`updated_at`、author/team、source class、content hash 和 fetch time。页面只修改排版而正文 hash 未变时不重新生成洞察；正文、结论、实验数字或 remediation 更新时形成新观测。

### 学术搜索边界

学术论文的搜索空间远大于漏洞 feed 与固定厂商 watch。SaTML、ICML、ICLR、EMNLP、RAID、TDSC、TIFS、TSE、TOSEM 等 venue 进入 按需 scholarly search 的检索空间，不为每个 venue 建立独立全量常驻抓取器。M4/M5 遇到“某类攻击是否有论文证据”“某项 defense 是否经过 adaptive evaluation”“最近会议是否出现新的 attack surface”等问题时，由搜索工具按关键词、venue、年份、对象和证据类型约束检索，再把候选论文交给正式来源做版本确认。

搜索链分三层：

```text
investigation question
  -> structured scholarly search
     Crossref / OpenAlex / available scholarly APIs / Web search
  -> publication resolution
     official proceedings / DOI / arXiv / author project
  -> seasonal curation hints
     GitHub conference guides / categorized accepted-paper lists
```

社区整理源解决的是“本届会议有哪些论文、如何分类、哪些论文有代码/项目页”这类 discovery 问题。它可以显著缩小数千篇论文的搜索空间，但分类、摘要和 code-link completeness 属二次材料；标题、作者、录用状态、版本和正式链接最终回到 venue / DOI / paper source。被调查、问答或评测实际使用的论文版本再进入 `durable_managed`，并继续沿本文已有 `same-work-as`、`supports / contradicts / extends`、`evidence_status` 关系进入证据链。

当前可以复用的会议季整理形态包括：按会议全部接收论文构建主题分类/中文导读的 GitHub 仓库，以及围绕 Agent 等专题从 ICLR / ICML 接收列表二次筛选的专题仓库。这类来源进入 source registry 时标记为 `discovery / curation`，不承担同行评审状态或实验结果的事实权威。

接口可用性属于后续 scholarly-search provider 选择与 fallback 问题。2026-09-26 的轻量探针中，Crossref 连续返回结构化结果；OpenAlex 可返回结果但出现一次连接超时；GitHub REST 能稳定读取会议整理仓库；当前运行环境访问 OpenReview、Semantic Scholar、DBLP、arXiv 分别遇到 challenge、限流、bot check 或出口兼容问题。该结果只记录当前环境风险，不作为长期 source contract；实现阶段需要超时、重试、缓存、API key、浏览器/人工回退等 provider policy。

### Query clusters

学术常驻 discovery 与按需 scholarly search 共用高召回关键词簇；厂商与独立研究源在站内先按 source stream 发现，再用同一分类体系做 relevance classification，避免厂商标题没有显式写 `security` 时漏掉重要系统设计。

| Cluster | Query terms |
|---|---|
| Jailbreak / alignment | `jailbreak`、`adversarial prompt`、`alignment attack`、`safety bypass`、`guard model` |
| Prompt injection | `prompt injection`、`indirect prompt injection`、`instruction injection`、`context contamination` |
| Poisoning / backdoor | `data poisoning`、`model poisoning`、`backdoor`、`fine-tuning poisoning`、`semantic trigger`、`covert control` |
| Privacy | `training data extraction`、`memorization`、`membership inference`、`model inversion`、`model extraction`、`model stealing` |
| RAG / retrieval | `RAG poisoning`、`retrieval poisoning`、`retrieval attack`、`embedding attack`、`retriever attack` |
| Agent runtime | `agent security`、`sandbox`、`runtime policy`、`network egress`、`identity`、`computer use`、`browser agent` |
| MCP / tool | `MCP security`、`tool poisoning`、`tool misuse`、`capability`、`function calling`、`skill security` |
| Memory / multi-agent | `memory poisoning`、`persistent memory`、`multi-agent security`、`delegation`、`inter-agent`、`shared memory` |
| Defense | `jailbreak defense`、`prompt injection defense`、`guardrail`、`LLM firewall`、`action authorization`、`causal attribution` |

### Insight 晋升

发现新内容后先生成 `Insight Candidate`。产品展示的是“什么认知发生了变化”，而不是论文/博客更新流。

```text
source_item
source_class
canonical_url
revision
risk_domain
risk_family
affected_object
what_is_new
what_previous_assumption_changed
attack / defense / measurement / incident / capability / design
threat_model_or_operational_context
key_result
related_existing_claim
supports / contradicts / extends
new_relation_or_schema_needed
evidence_status
confidence
```

候选只有满足以下一种变化才晋级：新增 attack surface；模型或 Agent capability 变化导致 threat model 改变；把 theoretical risk 推到 production/observed；打破已有 defense；提出有独立 enforcement 含义的新 control；改变 residual-risk 判断；产生新的评测集/telemetry；要求修改分类体系、relation 或 Technical Design assumption。普通产品发布、没有证据的观点和重复已有 claim 的文章仍可检索，但不进入前沿洞察展示。

### 证据晋升与同一性

`preprint`、正式论文、vendor report、security advisory 和 independent reproduction 作为不同观测存在。同一 `arxiv_id` 的 `v1/v2/v3` 归属于同一 work；发现 DOI / conference publication 后建立 `same-work-as`。厂商文章后续出现 CVE/GHSA、外部复现或论文时建立 `supports / contradicts / extends`，不覆盖旧证据。

first-party incident report 对“该厂商观察到什么、采取了什么修复”具有高权威，对通用有效性仍需要外部研究或跨产品证据。独立研究发现需要保存 disclosure 时间线和 vendor response。系统 card / model card 的安全评测集保留具体模型版本、评测配置和日期，禁止外推到其他模型版本。

前端可以展示 `Latest AI Security Insights` 与 `What Changed Our Understanding`。每条卡片同时显示 source type 和证据 status，使“USENIX peer-reviewed result”“arXiv preprint”“OpenAI/Anthropic first-party incident”“Wiz/Trail of Bits independent research”等来源不会在 UI 上失去证据边界。

## Agent Security Control Plane requirements

Agent/Application 的生产设计要求 control plane 分离模型 reasoning 与真实 capability。Technical Design 2 的 Execution Control Plane 承接这些安全接缝；Task/Role、ToolImplementation/Capability/Binding、Policy decision point 与 Sandbox v1 contract 已在 TD2 固定，具体 capability catalog、provider 复用和算法参数继续由实现/eval probe 收敛：

| Control 接缝 | 责任 |
|---|---|
| Context / Trust Gate | 标记 external content、repo、web、email、tool output 和 peer-agent message 的来源与权威 |
| Capability Broker | 依据 task、tool、parameter、side-effect class 决定调用是否允许 |
| Identity Broker | 为单次 task/session 提供 scoped、short-lived credential，记录 delegated 身份 |
| Execution Sandbox | 隔离 filesystem、process、resource、kernel 与 host bridge |
| Network Gateway | 控制 destination、DNS、protocol、redirect、request budget 与 egress logging |
| Memory / State Store | 管理来源链路、writer、scope、TTL、晋升与 read/write policy |
| Side-effect Gate | 对 send/write/delete/pay/publish 等动作执行 policy、staging 或 human approval |
| Audit / Telemetry | 记录 context、tool call、credential use、network request、sandbox event、state write 与最终 effect |

### DSec：隔离等级参考

[DeepSeek Elastic Compute (DSec)](https://arxiv.org/abs/2609.22978) 是 2026-09 发布的生产 sandbox infrastructure 预印本，用于大规模 agentic training/evaluation；它提供 `FnCall`、container、microVM、full VM 四类 backend，并把资源、生命周期和 network rule 纳入统一 sandbox API。DSec 用途主要是生产 execution infrastructure，因此在 SecFusionAgent 中作为 Technical Design reference，不作为某类 defense 已经安全完备的证据。

SecFusionAgent 的接口需要保留 isolation class，而不是单一 `sandbox=true/false`：

| Isolation class | 适用任务 | 主要边界 |
|---|---|---|
| semantic-only | 纯检索、解析、推理 | 无 executable capability |
| fixed tool / FnCall | 稳定 API、query、validator | capability schema 与参数 policy |
| process sandbox | 受控 shell、小型本地任务 | namespace / Landlock / seccomp / filesystem policy |
| container | coding、parser、一般 tool execution | filesystem、process、resource isolation |
| microVM | untrusted repo、安全分析、arbitrary code | 独立 kernel 与更强 host isolation |
| full VM | browser/desktop/COTS OS、高风险完整环境 | 完整 OS 边界与独立生命周期 |

具体 v1 runtime 选型由 Technical Design 2 持有：默认受控执行使用 OpenShell + OCI container，高风险 arbitrary-code profile 使用 Firecracker microVM 且不允许静默降级；browser/full-VM 仍保留接口并继续 probe。本文件只固定“任务风险决定 isolation class”的安全语义，不复制部署参数。

### GitHub Agentic Workflows：控制面参考

[GitHub Agentic Workflows Security Architecture](https://github.github.com/gh-aw/introduction/architecture/) 把 substrate isolation、declarative configuration、network firewall、API proxy、MCP Gateway 与 staged execution 分开。其 agent container 的 egress 通过 firewall/proxy 控制，MCP server 在隔离容器中由 gateway 管理；文档同时明确 agent ID 等容器内标识不能被当作强认证边界。

这套公开设计支持三个 runtime security requirement：filesystem/process isolation 与 network egress 分开 enforcement；MCP/tool capability 通过 gateway/broker 承载；Agent 生成的 proposal/产物与真正写外部系统的 privileged stage 分离。Technical Design 2 保留这些 enforcement seam，具体 runtime/provider 通过实现 probe 决定。

### NVIDIA OpenShell：runtime security boundary 参考

NVIDIA 2026 年公开的 Agent Security Stack / OpenShell 设计把 model、agent、harness 放在行为层，把 runtime、身份、policy、credential、network 和 audit 放在独立 security 边界以下。其公开设计要求 higher layer 只能提出 action，lower layer 决定是否执行；每个 external effect 都经过 policy，credential 使用 just-in-time scope，subagent 只能获得 delegated child runtime 且不能突破上级 ceiling。

该设计与 DSec、GitHub 形成互补：DSec 提供多级 execution substrate；GitHub 展示 MCP/network/staged side effect 的生产 control plane；OpenShell 强化“policy 位于 Agent 无法自行绕过的 enforcement 边界”这一 contract。Technical Design 2 已固定 ToolImplementation / CapabilityContract / CapabilityBinding 与 Execution Control Plane 的逻辑责任，并选择 OpenShell 作为 v1 sandbox supervisor/enforcement runtime；Identity/Network provider 复用、browser/full-VM 与更细的 backend 组合继续通过实现 probe 决定。

## Agent 安全事件 schema

Agent/Application intelligence 使用完整 capability path，而不只保存漏洞标签：

```text
incident / technique
entry_surface
untrusted_context
goal_or_state_effect
agent / role
capability
identity / credential scope
tool / MCP server
execution_boundary
network_effect
memory_or_state_effect
side_effect
persistence
impact
control
enforcement_point
known_bypass
residual_risk
vendor_advisory / CVE / GHSA / paper
```

例如 `.mcp.json` 案例可以表达为 attacker-controlled PR 提供 untrusted config，Agent runtime 自动启用 MCP server，server 获得 runner execution capability，最终产生 RCE 与 secret exfiltration。相同 schema 也能表达 browser injection、memory poisoning、peer-agent propagation 和 sandbox escape。

## M1-M8 Ownership

| 模块 | 模型/数据与 Agent/Application 职责 |
|---|---|
| M1 | 监测低成本 academic discovery、frontier lab 技术报告/system/model card、厂商与独立安全研究、model/data platform、vendor advisory、GHSA/CVE、Agent framework、MCP 与 browser/computer-use 安全材料 |
| M2 | 保存 paper、technical report、system/model card、blog research、advisory、incident、repo 证据的版本与权威，维护同一 work 和后续 publication/disclosure 关系 |
| M3 | 形成 risk、technique、control、评测集、agent capability path 和跨层 relation |
| M4 | 保存调查中的 confirmed fact、conflict、unknown、residual risk 与证据 chain |
| M5 | 对证据缺口使用按需 scholarly search 执行论文追踪、repo/advisory 调查、tool/Agent attack-chain 补全；候选论文回正式来源做版本与发表状态确认 |
| M6 | 回答 attack feasibility、affected object、mitigation、known bypass 和适用控制，并引用具体证据 |
| M7 | 维护 model/data 评测集、adaptive attack、Agent prompt-injection、tool、MCP、memory、multi-agent 与 sandbox regression case |
| M8 | 执行 SecFusionAgent 自身的 capability、身份、sandbox、network、memory 与 audit control |

M7 的 Agent 安全测试覆盖单 Agent 与多 Agent topology、persistent memory、MCP/tool、browser/computer-use、network exfiltration、sandbox 接缝和 side-effect authorization。模型层 defense 的评测集分数与系统层 control 的实际 enforcement 分开报告。

## 需求阶段固定项

模型与数据层使用五组 risk family，并保留 attack、mitigation、adaptive bypass 与 residual risk 的可追溯证据链。模型/数据与 Agent/Application 共享前沿安全情报监测：低成本 academic discovery、按需 scholarly search、frontier lab 技术报告与 system/model card、平台安全研究、独立安全研究共同进入 `Insight Candidate`；只有改变已有 claim、threat model、control、telemetry 或 schema 的内容进入前沿洞察展示，并保留 preprint、peer-reviewed、first-party 与 independent research 的证据边界。会议季社区整理源只承担 discovery / curation，正式 venue / DOI / paper source 负责发表状态与版本确认。

AI 应用与 Agent 层使用 goal/context、tool/action、身份/privilege、execution 边界、memory/state、inter-agent/工作流六类 trust 边界。经典案例以厂商 advisory、GHSA/CVE 和公开事故研究为主，多 Agent 与 memory 当前以同行评审研究、MITRE ATLAS 和前沿 preprint 补充，并显式保留证据 maturity。

Agent/Application runtime security 固定采用 control-plane separation：context provenance、capability、identity、execution sandbox、network、memory/state、side effect 与 audit/telemetry 分离。Technical Design 2 已固定 Task/Role、ToolImplementation/Capability/Binding、Policy decision point、delegation ceiling 与 Sandbox v1 contract；DSec、GitHub Agentic Workflows、OpenShell 继续作为 isolation/runtime/gateway enforcement 参考，具体 capability catalog、provider 复用边界与实现参数由 TD2 coding/eval probe 决定。

## 主要参考来源

### Model / Data

- ACM CSUR, *Security and Privacy Challenges of Large Language Models: A Survey*: https://doi.org/10.1145/3712001
- ACM CSUR, *Unique Security and Privacy Threats of Large Language Models: A Comprehensive Survey*: https://doi.org/10.1145/3764113
- IEEE S&P 2024, *Poisoning Web-Scale Training Datasets is Practical*: https://doi.org/10.1109/SP54263.2024.00179
- USENIX Security 2025, *EmbedX*: https://www.usenix.org/conference/usenixsecurity25/presentation/yan-nan
- IEEE S&P 2025, *BAIT*: https://doi.org/10.1109/SP61157.2025.00103
- USENIX Security 2025, *StruQ*: https://www.usenix.org/conference/usenixsecurity25/presentation/chen-sizhe
- USENIX Security 2025, *PoisonedRAG*: https://www.usenix.org/conference/usenixsecurity25/presentation/zou-poisonedrag
- USENIX Security 2026, *Cordyceps*: https://www.usenix.org/conference/usenixsecurity26/presentation/shao-zedian
- USENIX Security 2026, *The Attacker Moves Second*: https://www.usenix.org/conference/usenixsecurity26/presentation/nasr
- USENIX Security 2026, *Context Contamination*: https://www.usenix.org/conference/usenixsecurity26/presentation/karanjai
- USENIX Security 2026, *Overcoming the Retrieval Barrier*: https://www.usenix.org/conference/usenixsecurity26/presentation/chang-hongyan

### Agent / Application

- OWASP Top 10 for Agentic Applications 2026: https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
- OWASP MCP Security Cheat Sheet: https://cheatsheetseries.owasp.org/cheatsheets/MCP_Security_Cheat_Sheet.html
- MITRE ATLAS `AML.T0080` Agent Context Poisoning: https://d3fend.mitre.org/offensive-technique/attack/AML.T0080/
- AWS-2025-019, Amazon Q / Kiro prompt-injection issues: https://aws.amazon.com/security/security-bulletins/AWS-2025-019/
- Claude Code Action MCP RCE, GHSA-8q5r-mmjf-575q: https://github.com/advisories/GHSA-8q5r-mmjf-575q
- Claude Code sandbox escape, GHSA-vp62-r36r-9xqp: https://github.com/advisories/GHSA-vp62-r36r-9xqp
- Microsoft, *When prompts become shells*: https://www.microsoft.com/en-us/security/blog/2026/05/07/prompts-become-shells-rce-vulnerabilities-ai-agent-frameworks/
- Microsoft, MCP misconfiguration telemetry: https://www.microsoft.com/en-us/security/blog/2026/05/14/configuration-becomes-vulnerability-exploitable-misconfigurations-ai-apps/
- OpenAI, URL-based agent data exfiltration: https://openai.com/index/ai-agent-link-safety/
- OpenAI Operator System Card: https://openai.com/index/operator-system-card/
- Anthropic browser-use prompt-injection defenses: https://www.anthropic.com/news/prompt-injection-defenses
- ACL 2026, *Conjunctive Prompt Attacks in Multi-Agent LLM Systems*: https://aclanthology.org/2026.acl-long.1577/
- arXiv 2026, *Bad Memory*: https://arxiv.org/abs/2607.14611
- USENIX Security 2026, *MUZZLE*: https://www.usenix.org/conference/usenixsecurity26/presentation/syros
- USENIX Security 2026, *AttriGuard*: https://www.usenix.org/conference/usenixsecurity26/presentation/he-yu

### Frontier monitoring source indexes

- ByteDance Seed Publications: https://seed.bytedance.com/en/public_papers
- ByteDance Seed Tech Blog: https://seed.bytedance.com/en/blog_list/foundation
- ByteDance Seed Model Cards: https://seed.bytedance.com/en/model_cards
- OpenAI Research / Security: https://openai.com/research/index/
- Anthropic Research: https://www.anthropic.com/research
- Google DeepMind Responsibility & Safety: https://deepmind.google/responsibility-and-safety/
- Meta AI Blog: https://ai.meta.com/blog/
- Microsoft Security Blog: https://www.microsoft.com/en-us/security/blog/
- NVIDIA Technical Blog, Security for AI: https://developer.nvidia.com/blog/tag/security-ai/
- Trail of Bits, prompt-injection research: https://blog.trailofbits.com/categories/prompt-injection/
- Trail of Bits, MCP research: https://blog.trailofbits.com/categories/mcp/
- Wiz Research / Blog: https://www.wiz.io/blog
- HiddenLayer Research: https://www.hiddenlayer.com/research
- Palo Alto Unit 42: https://unit42.paloaltonetworks.com/

### Academic search / conference curation

- Crossref REST API: https://api.crossref.org/
- OpenAlex API: https://api.openalex.org/
- ICLR 2026 Guide CN, all accepted papers with hierarchical categories: https://github.com/JenniferZhao0531/ICLR2026-Guide-CN
- ICML / ICLR 2026 Agent Papers, topic-focused accepted-paper curation: https://github.com/jiaxianyan/icml-iclr-2026-agent-papers

### Technical Design reference

- DeepSeek Elastic Compute (DSec): https://arxiv.org/abs/2609.22978
- GitHub Agentic Workflows Security Architecture: https://github.github.com/gh-aw/introduction/architecture/
- NVIDIA, Where Security Fits in an AI Agent Stack: https://developer.nvidia.com/blog/where-security-fits-in-an-ai-agent-stack/
- NVIDIA OpenShell: https://developer.nvidia.com/blog/run-autonomous-self-evolving-agents-more-safely-with-nvidia-openshell/
- Meta, Agents Rule of Two: https://ai.meta.com/blog/practical-ai-agent-security/