Skip to content

04 AI Model Data and Agent Application Security

Jump to bottom
jiale li edited this page Sep 26, 2026 · 9 revisions

模型、数据与 Agent 应用安全

English | 中文

本文固定 SecFusionAgent 对模型与数据层、AI 应用与 Agent 层的风险分类、证据链、持续监测对象和 runtime security requirements。本文承接 01-Data-Sources-and-Processing 的证据/object/relation contract、02-CTI-Baseline-Reuse-and-Ownership 的 reuse-first policy，以及 03-Normative-Knowledge-and-Policy 的 control / runtime policy 关系。供应链中的 package、产物、image、dependency 来源链路仍由供应链专题持有。

调研快照日期为 2026-09-24。稳定知识优先引用综述、顶会论文、厂商 security advisory、GHSA/CVE、OWASP 与 MITRE ATLAS；2026 年 arXiv 预印本用于发现前沿洞察，并保留 preprint 状态。攻击、防御与 residual risk 分开记录，防御论文的有效结果不直接升级为“风险已解决”。

风险对象与证据

模型与数据层主要描述训练数据、模型制品、模型行为、隐私与 retrieval/embedding 的安全属性；AI 应用与 Agent 层描述模型如何通过 context、tool、身份、memory、network、sandbox 与外部系统发生作用。两层可以共享同一证据，但事实归属由具体对象决定。

Prompt injection 是典型跨层 technique：输入或 retrieved content 对模型行为产生影响时关联模型/数据层；该影响继续驱动 tool call、browser action、文件写入、网络请求或权限使用时关联 Agent/Application 层。MCP server、skill、plugin 自身的来源链路与发布链归供应链；它在运行时导致 tool misuse、RCE、credential abuse 或 state poisoning 时，影响事实归 Agent/Application 层。

风险发生位置与 mitigation 部署位置分开建模。data poisoning 可以由 dataset 来源链路、训练流水线校验和模型扫描缓解；jailbreak/prompt injection 的控制可以落在模型、context gate、tool policy、sandbox、network gateway 或 human approval；model extraction 可以由 API policy、rate limit、monitoring 等部署层措施降低风险。系统保存 RiskTechnique --affects--> Object 与 Control --mitigates--> RiskTechnique 两条关系，并记录 mitigation_layer 与 residual risk。模型层防御无法承担的 security 边界由独立 system control 承担。

情报对象统一保存以下字段：

risk_family
technique
affected_object
lifecycle_stage
precondition
attack_mechanism
impact
threat_model

evidence
reproduction / benchmark
mitigation
mitigation_layer
evaluation_condition
adaptive_attack / known_bypass
residual_risk

source_id
product_source_category
source_role / evidence_maturity
venue / vendor
publication_or_disclosure_date
revision

论文结论还需要记录 claim、supports / contradicts / extends 与对应 paper 版本；厂商 incident/advisory 记录 affected version、patched version、attack chain 和 remediation。

模型与数据层

风险分类

模型与数据层按攻击发生位置和对象组织为五组。OWASP、MITRE ATLAS 等 operational 分类体系用于工程映射，学术结论由综述、顶会论文和评测集支撑。

Risk family 主要对象 典型风险 主要证据
Training / Fine-tuning Integrity training sample、dataset、fine-tuning corpus data poisoning、label poisoning、training backdoor、covert control dataset、paper、评测集、训练流程报告
Model Artifact Integrity 检查点、适配器、LoRA、model merge model poisoning、backdoored model、malicious 产物 model hub、产物元数据、paper、repo、security report
Inference / Alignment Integrity model behavior、instruction hierarchy jailbreak、adversarial prompting、safety bypass red-team report、paper、评测集、provider report
Confidentiality / Privacy training data、model parameters、system information training-data extraction、membership inference、model extraction、system prompt leakage paper、incident、评测集、provider report
Retrieval / Embedding Integrity document corpus、embedding、retriever、RAG context RAG poisoning、retrieval manipulation、embedding attack、indirect prompt injection paper、RAG corpus、retrieval 评测集、Agent/RAG report

文献证据链

模型与数据分类体系使用两篇 ACM Computing Surveys 作为综述入口：Security and Privacy Challenges of Large Language Models: A Survey 和 Unique Security and Privacy Threats of Large Language Models: A Comprehensive Survey。综述负责覆盖边界，具体风险继续挂代表性攻击、防御和后续 bypass 证据。

Training / Fine-tuning Integrity 的证据链已经覆盖从现实可行性到 defense bypass。IEEE S&P 2024 的 Poisoning Web-Scale Training Datasets is Practical 展示 web-scale dataset poisoning 在现实数据采集流程中的可行攻击面；USENIX Security 2025 的 EmbedX 展示 embedding-space backdoor；IEEE S&P 2025 的 BAIT 研究 LLM backdoor scanning。USENIX Security 2026 的 Cordyceps 进一步展示通过 poisoning 形成 covert control，并在其 threat model 下绕过多类 backdoor 和 prompt-injection defense。该链支持 attack -> mitigation -> adaptive/bypass -> residual risk 的数据模型。

Inference / Alignment Integrity 和 prompt injection 的证据需要保留 adaptive attacker。USENIX Security 2025 的 StruQ 通过 structured query 分离 trusted instruction 与 data；USENIX Security 2026 的 The Attacker Moves Second 针对 12 个近期 jailbreak / prompt-injection defenses 设计 adaptive attack，并在其中多数 defense 上得到超过 90% 的攻击成功率。SecFusionAgent 因此记录 defense 的 evaluation threat model、adaptive evaluation 和 known bypass，不把静态评测集上的低 ASR解释成完整安全边界。

Retrieval / Embedding Integrity 需要把 retrieval 本身视为攻击链的一段。USENIX Security 2025 的 PoisonedRAG 证明 knowledge corpus poisoning 能诱导目标回答；USENIX Security 2026 的 Overcoming the Retrieval Barrier 进一步研究恶意内容如何在自然查询下被真实 retriever 命中，并给出跨 RAG 和 agentic 工作流的端到端攻击。因此相关 intelligence 需要同时保存 retrieval_success、execution_success 与 downstream impact。

系统提示词泄漏、隐私泄漏等 operational risk 的学术成熟度不完全一致。SecFusionAgent 保留这种证据强度差异：OWASP 标签可作为 risk object 的工程入口，顶会或经过验证的 attack paper 决定我们能对 feasibility、impact 和 mitigation 说到什么程度。

模型 / 数据前沿 insight

2026 年论文需要承担“已有认知发生了什么变化”的展示作用。当前可直接进入首批洞察的样本包括：

证据 新增洞察 对系统 schema 的影响
Cordyceps, USENIX Security 2026 poisoning 可以形成基于语义关联的 covert control，固定 trigger 分类体系不足 增加 covert control、semantic trigger、defense bypass、persistence
The Attacker Moves Second, USENIX Security 2026 defense robustness 需要 adaptive attacker 验证 增加 adaptive evaluation、known bypass、residual risk
Overcoming the Retrieval Barrier, USENIX Security 2026 retrieval probability 是 indirect prompt injection attack chain 的组成部分 增加 retrieval-stage precondition 与 retrieval success
Context Contamination, USENIX Security 2026 安全日志等分析输入也能携带 passive prompt injection，分层 defense 后仍存在 residual vulnerability 外部证据一律保留 untrusted-data 属性
Evaluation of Prompt Injection Defenses, arXiv 2026 预印本实验支持把 independent application-code enforcement 与 model self-protection 分开评估 evidence_status=preprint，触发 system-gate 方向后续追踪

前四项可作为稳定或同行评审证据；arXiv-only 工作保持 preprint 标记，等待后续正式发表或独立复现。

AI 应用与 Agent 层

风险分类

Agent/Application 风险更接近软件系统安全。模型负责规划和 tool selection，真实 impact 由 capability、身份、execution 边界、network、memory 和 side effect 决定。OWASP Top 10 for Agentic Applications 2026 提供 operational 分类体系；SecFusionAgent 按实际 trust 边界收敛为六组。

Risk family 被破坏的边界 典型对象
Goal / Context Hijack user intent 与 untrusted content 的权威分离 web、email、repo、document、tool output
Tool / Action Misuse 模型能否把观测转成真实 side effect tool、API、browser action、shell、MCP
Identity / Privilege Abuse Agent 代表谁、持有什么 scope、credential 生命周期多长 user 身份、service account、OAuth token、secret
Execution Boundary Failure 受控执行是否越过 process/container/VM/host 边界 shell、filesystem、runtime、sandbox、host bridge
Memory / State Poisoning 临时输入是否能晋级成跨 session 的可信状态 memory、thread、preference、workspace state、config
Inter-Agent / Workflow Trust delegation 和 message passing 是否扩大被污染 agent 的权限 orchestrator、peer agent、shared memory、工作流 state

Agent/Application graph 维护以下关系：

Agent reads Context
Agent invokes Tool
Agent acts-as Identity
Agent executes-in Sandbox
Agent reaches Network
Agent reads/writes Memory
Agent delegates-to Agent
Agent causes SideEffect

安全调查关注攻击者在哪条 relation 上获得 influence，以及哪项 capability 将 influence 转换为真实 impact。

代表案例

公开证据已经覆盖 tool、sandbox、network、MCP、memory、multi-agent 和 computer-use。不同子领域的证据成熟度不同：tool/sandbox/MCP 有厂商 advisory 和 CVE；memory 与 multi-agent 仍以 ATLAS、同行评审论文和近期 preprint 为主。

Surface 代表证据 可复用结论
Tool / command AWS-2025-019：Amazon Q/Kiro 的 prompt injection 可驱动本地命令、DNS exfiltration 或配置相关代码执行，后续增加 HITL 高风险命令与 side effect 需要独立 action policy，tool name 安全不代表参数安全
MCP / repo trust GHSA-8q5r-mmjf-575q：恶意 PR 中 .mcp.json 被 Claude Code Action 自动启用，导致 runner RCE 和 secret exfiltration repo-controlled MCP config 属 untrusted code/config，server enablement 需要来源链路与显式 policy
MCP / authentication Microsoft 2026 telemetry：其 Defender for Cloud 信号中 15% remote MCP servers 被归为严重不安全并允许未认证访问敏感内部能力 MCP transport 存在并不等于 authorization 存在；remote server 需要身份、scope 与审计
Sandbox 接缝 CVE-2026-39861 / GHSA-vp62-r36r-9xqp：Claude Code sandboxed process 创建 symlink，unsandboxed host process 后续跟随并写出 workspace 跨 sandbox helper / host bridge 需要重新做 trust analysis，单个组件各自受限仍可能组合越权
Tool crosses sandbox Microsoft Semantic Kernel CVE-2026-25592：模型可调用 DownloadFileAsync 把 sandbox 内文件写到 host 指定路径 model-controlled tool parameter 按 attacker-controlled input 验证；host bridge 不暴露给模型自由选择路径
Persistent config CVE-2026-25725：sandbox 内代码可创建持久化 Claude Code config，使后续 host session 执行 hook config/state 具有 persistence，写权限需要与普通 workspace data 分离
Network exfiltration OpenAI URL-based exfiltration：敏感数据可被编码进 URL 请求；trusted-domain allowlist 还会受 redirect 影响 filesystem 与 network 是独立 enforcement 接缝；egress policy 需要检查完整 URL、redirect 与 destination
Computer Use OpenAI Operator System Card：2025 research preview 将 website 视为潜在 adversarial actor，采用 confirmations、watch mode、prompt-injection monitor 与 browser sandbox GUI action 同样属于 privileged side effect；高风险动作需要 takeover/confirmation，浏览环境与本机环境分离
Browser agent Anthropic browser-use prompt injection：网页、邮件等内容可作为 indirect injection surface，厂商明确保留 residual risk browser content 永久保持 untrusted 观测属性，模型 robustness 不能替代 system enforcement
Memory MITRE ATLAS AML.T0080 将 Agent Context Poisoning 分为 Memory 与 Thread；Bad Memory, arXiv 2026 展示已植入 persistent memory 的 payload 可影响后续 session memory write、晋升与 read scope 需要来源链路、trust、TTL 与独立 authorization
Multi-agent Conjunctive Prompt Attacks, ACL 2026 展示 star/chain/DAG routing 下跨 agent 组合攻击；Overcoming the Retrieval Barrier, USENIX 2026 在 multi-agent 工作流中给出端到端 exfiltration agent message 不能继承发送者的 instruction 权威；跨 agent routing 需要来源链路、role-scoped capability 和 end-action authorization
Web-agent adaptive attack MUZZLE, USENIX Security 2026 在 4 个 web apps 中发现 44 个新攻击和 cross-application injection 静态 prompt set 不能覆盖真实 browser trajectory，评测需要 adaptive red-team 与跨应用 side effect
Action authorization AttriGuard, USENIX Security 2026 把防御点从 input classification 推到 tool-call causal attribution runtime gate 可以判断 proposed action 是否由 user intent 支持，而不只判断输入是否“像攻击”

这一轮没有发现与 MCP / tool / sandbox 同等成熟的“多 Agent 厂商事故库”或“memory 厂商 CVE 主线”。因此多 Agent 当前采用 ACL/USENIX 同行评审研究作为稳定证据，memory 采用 MITRE ATLAS + 2026 preprint 作为前沿证据，并继续进入 Research Intelligence Watch。文档不把证据成熟度较低的方向写成已有大规模生产事故事实。

Memory / State

Agent memory 是独立 trust 边界。memory object 保存内容之外，还需要保存来源、写入者、作用域、生命周期和晋级理由：

value
source
source_trust
writer
created_at
scope
ttl
promotion_reason
read_policy
write_policy

网页、issue、邮件、MCP output、peer-agent message 默认以 untrusted 证据进入 session context。把其中内容晋级为 durable memory 需要独立 write policy；跨用户、跨任务、跨 agent 的 memory retrieval 根据身份和 scope 过滤。memory poisoning 的检测与清理不能依赖模型“记得忽略”某条状态。

MCP 与 Tool

MCP 把 tool discovery、schema 和 invocation 标准化，同时扩大了 tool 来源链路、authorization 和 cross-server trust 的攻击面。OWASP MCP Security Cheat Sheet 已经列出 tool poisoning、rug pull、tool shadowing、confused deputy、over-scoped token、message 重放和 sandbox escape 等风险；这些分类体系用于 monitoring 和测试，不另造项目专用 MCP security 分类体系。

SecFusionAgent 在 Technical Design 中需要给 MCP/tool 建立以下控制字段：

server_identity
server_origin
transport
authentication
tool_schema_hash
schema_revision
approved_capability
credential_scope
side_effect_class
network_scope
sandbox_class
human_approval_policy

首次批准后的 tool definition 变化视为新版本；高影响 capability 的 schema、server 身份或 credential scope 变化触发重新审批。tool output 继续按 untrusted data 进入 context。

Multi-Agent

多 Agent 增加了单 Agent 不存在的 trust propagation：一个低权限 agent 的错误判断可能通过 message、shared memory 或 orchestrator routing 影响高权限 executor。安全边界以每个 agent 的身份/capability 为单位建立，不把“来自内部 agent”作为可信依据。

runtime security requirements 包括：每条 inter-agent message 携带 sender、task、来源链路与 message 版本；delegation 显式记录父任务和 delegated scope；每个 agent 的 tool/credential 按 role 分配；shared memory 具有 writer 与 reader ACL；executor 对高影响 action 重新做 authorization，而不复用上游 agent 的自然语言“已批准”结论。

ACL 2026 的 conjunctive attack 说明多个局部看似正常的 component 可以在 routing 后形成恶意组合，因此边界测试需要覆盖 star、chain、DAG 与 orchestrator/工作进程等 topology，而不是逐 agent 独立测试。

Browser / Computer Use

Computer Use 把传统 browser/OS GUI 变成通用 tool surface。网页文本、DOM/accessibility tree、图片、邮件、下载文件和跨应用剪贴内容都可能同时承担 data 与 adversarial instruction。OpenAI Operator 和 Anthropic browser-use 的公开安全材料均把 indirect prompt injection 作为持续风险，并采用 model mitigation 之外的确认、monitor、browser isolation 和用户接管机制。

Computer-use policy 需要区分 read、navigate、download、upload、type、submit、send、purchase、delete、credential entry 等 side-effect class。登录、凭据输入和不可逆动作使用 takeover 或 explicit confirmation；browser session 与 host filesystem、credential store、local network 之间建立显式 bridge。下载文件进入 sandbox 后仍保持 untrusted 产物标记，不能因为来自浏览器下载流程就获得执行权限。

前沿安全情报监测

模型/数据和 Agent/Application 共享一条前沿安全情报监测链。它监测“新的证据是否改变现有风险认识、attack surface、mitigation、residual risk 或系统设计”，数据源不限于论文。学术论文提供可复现方法和同行评审证据；厂商技术报告、system/model card、安全博客和 incident report 往往更早暴露生产 failure、部署约束和真实 control；独立安全研究补充跨厂商复现、漏洞发现与攻防观察。三类来源分别保存权威和 source type，禁止把厂商自述、preprint 和同行评审论文压成同一证据等级。

Source portfolio

本节的 portfolio lane 是模型/数据与 Agent/Application 专题内部的信息作用分组，不新增 01 的产品 source taxonomy。每个 lane 显式映射到八类 taxonomy；固定监测、按需 scholarly search、正式版本确认和动态 discovery 共用同一 Source Definition / Evidence 边界。

Portfolio lane Product taxonomy 来源 / 入口 主要信号 默认处理
Academic research academic arXiv、Crossref、OpenAlex、OpenReview、Semantic Scholar、正式 proceedings、会议季社区整理源 attack/defense、评测集、survey、adaptive evaluation 常驻低成本 discovery；按需 scholarly search 缩小空间；正式论文页/DOI 负责 publication resolution；社区整理只做 discovery
Frontier lab research vendor OpenAI Research/Security/System Cards、Anthropic Research/News/System Cards、Google DeepMind Responsibility & Safety、Meta AI safety/security frontier capability、incident、prompt injection、agent control、model/system evaluation 保留 first-party authority；技术 claim 与实验抽取为 evidence，产品宣传不自动晋级 Insight
China frontier lab vendor ByteDance Seed Publications、Tech Blog、Model Cards Agent/Coding/GUI、model/data、long-horizon evaluation、技术报告 监测 publication/tech report/model card/重大版本，按 security/capability/architecture relevance 分类
Platform / infra research vendor Microsoft Security Blog、NVIDIA Security for AI / AI Red Team、AWS Security Bulletins Agent framework CVE、MCP、身份、sandbox、network、runtime control incident/advisory 进入 threat evidence；reference architecture/design guidance 进入 control/design evidence
Independent security research independent Trail of Bits、Wiz、HiddenLayer、Unit 42、Talos MCP/tool poisoning、prompt injection、AI infra exploit、agent incident、red-team、telemetry 独立复现、telemetry 与跨产品研究用于验证 vendor claim 与发现新 attack pattern
Operational taxonomy / community knowledge independent OWASP GenAI / Agentic、MITRE ATLAS technique、failure mode、control vocabulary 用于分类体系 mapping；不替代 attack feasibility 或 defense effectiveness evidence

ByteDance Seed 当前同时维护公开论文列表、Tech Blog 与 Model Card 页面，并持续发布 Agent、Coding、GUI 和基础模型技术材料。它进入 watch 的价值是补充中国 frontier lab 的生产技术路线与评测集变化，而不是等待某篇论文被 arXiv keyword 命中。

OpenAI、Anthropic、Google DeepMind、Microsoft、NVIDIA 等来源也采用相同原则：系统监测 source stream 本身，而不依赖通用搜索引擎二次发现。first-party report 往往早于正式论文出现，应当作为 M1 固定 source；当内容同时属于 incident 时，可以在 incidents coverage 中复用同一 source stream，但 source authority 不因多 category 计数而改变。

Discovery 与更新

不同来源使用不同 discovery path：

来源形态 Discovery Update semantics
arXiv API / 元数据 query；cs.CR + cs.CL + cs.AI + cs.LG + cs.IR 与关键词簇 低成本周期 discovery；重点 arxiv_id 检查新 version
按需 scholarly search Crossref、OpenAlex、可用时的 OpenReview / Semantic Scholar、通用 Web 搜索 M4/M5 按调查问题搜索；优先返回 DOI、venue、年份、正式页面与候选版本，不建立会议/期刊全量本地镜像
conference proceedings USENIX Security、IEEE S&P、CCS、NDSS、ACL Anthology、NeurIPS 等正式 venue 页面 Agent 命中候选论文后做 publication resolution；acceptance、camera-ready、正式 DOI 形成状态更新
conference curation 会议季 GitHub 导读、分类仓库、accepted-paper explorer 在数千篇论文中提供高召回导航、主题分类和 code/project link；作为 discovery hint，不提升证据权威
vendor publication / blog 官方 index、RSS/Atom（存在时）、sitemap 或列表页 diff 新文章、technical report、system/model card、incident update；同 URL 内容变化保存新版本
security research blog 官方 research/category index、RSS/Atom 或 sitemap 新 disclosure、telemetry、follow-up、修复更新；关联 CVE/GHSA/vendor response
model/system card 官方 model 发布/card index 新模型、card 版本、安全评测或 capability 边界变化

网页抓取记录 canonical_url、published_at、updated_at、author/team、source class、content hash 和 fetch time。页面只修改排版而正文 hash 未变时不重新生成洞察；正文、结论、实验数字或 remediation 更新时形成新观测。

学术搜索边界

学术论文的搜索空间远大于漏洞 feed 与固定厂商 watch。SaTML、ICML、ICLR、EMNLP、RAID、TDSC、TIFS、TSE、TOSEM 等 venue 进入 按需 scholarly search 的检索空间，不为每个 venue 建立独立全量常驻抓取器。M4/M5 遇到“某类攻击是否有论文证据”“某项 defense 是否经过 adaptive evaluation”“最近会议是否出现新的 attack surface”等问题时，由搜索工具按关键词、venue、年份、对象和证据类型约束检索，再把候选论文交给正式来源做版本确认。

搜索链分三层：

investigation question
  -> structured scholarly search
     Crossref / OpenAlex / available scholarly APIs / Web search
  -> publication resolution
     official proceedings / DOI / arXiv / author project
  -> seasonal curation hints
     GitHub conference guides / categorized accepted-paper lists

社区整理源解决的是“本届会议有哪些论文、如何分类、哪些论文有代码/项目页”这类 discovery 问题。它可以显著缩小数千篇论文的搜索空间，但分类、摘要和 code-link completeness 属二次材料；标题、作者、录用状态、版本和正式链接最终回到 venue / DOI / paper source。被调查、问答或评测实际使用的论文版本再进入 durable_managed，并继续沿本文已有 same-work-as、supports / contradicts / extends、evidence_status 关系进入证据链。

当前可以复用的会议季整理形态包括：按会议全部接收论文构建主题分类/中文导读的 GitHub 仓库，以及围绕 Agent 等专题从 ICLR / ICML 接收列表二次筛选的专题仓库。这类来源进入 source registry 时标记为 discovery / curation，不承担同行评审状态或实验结果的事实权威。

接口可用性属于后续 scholarly-search provider 选择与 fallback 问题。2026-09-26 的轻量探针中，Crossref 连续返回结构化结果；OpenAlex 可返回结果但出现一次连接超时；GitHub REST 能稳定读取会议整理仓库；当前运行环境访问 OpenReview、Semantic Scholar、DBLP、arXiv 分别遇到 challenge、限流、bot check 或出口兼容问题。该结果只记录当前环境风险，不作为长期 source contract；实现阶段需要超时、重试、缓存、API key、浏览器/人工回退等 provider policy。

Query clusters

学术常驻 discovery 与按需 scholarly search 共用高召回关键词簇；厂商与独立研究源在站内先按 source stream 发现，再用同一分类体系做 relevance classification，避免厂商标题没有显式写 security 时漏掉重要系统设计。

Cluster Query terms
Jailbreak / alignment jailbreak、adversarial prompt、alignment attack、safety bypass、guard model
Prompt injection prompt injection、indirect prompt injection、instruction injection、context contamination
Poisoning / backdoor data poisoning、model poisoning、backdoor、fine-tuning poisoning、semantic trigger、covert control
Privacy training data extraction、memorization、membership inference、model inversion、model extraction、model stealing
RAG / retrieval RAG poisoning、retrieval poisoning、retrieval attack、embedding attack、retriever attack
Agent runtime agent security、sandbox、runtime policy、network egress、identity、computer use、browser agent
MCP / tool MCP security、tool poisoning、tool misuse、capability、function calling、skill security
Memory / multi-agent memory poisoning、persistent memory、multi-agent security、delegation、inter-agent、shared memory
Defense jailbreak defense、prompt injection defense、guardrail、LLM firewall、action authorization、causal attribution

Insight 晋升

发现新内容后先生成 Insight Candidate。产品展示的是“什么认知发生了变化”，而不是论文/博客更新流。

source_item
source_class
canonical_url
revision
risk_domain
risk_family
affected_object
what_is_new
what_previous_assumption_changed
attack / defense / measurement / incident / capability / design
threat_model_or_operational_context
key_result
related_existing_claim
supports / contradicts / extends
new_relation_or_schema_needed
evidence_status
confidence

候选只有满足以下一种变化才晋级：新增 attack surface；模型或 Agent capability 变化导致 threat model 改变；把 theoretical risk 推到 production/observed；打破已有 defense；提出有独立 enforcement 含义的新 control；改变 residual-risk 判断；产生新的评测集/telemetry；要求修改分类体系、relation 或 Technical Design assumption。普通产品发布、没有证据的观点和重复已有 claim 的文章仍可检索，但不进入前沿洞察展示。

证据晋升与同一性

preprint、正式论文、vendor report、security advisory 和 independent reproduction 作为不同观测存在。同一 arxiv_id 的 v1/v2/v3 归属于同一 work；发现 DOI / conference publication 后建立 same-work-as。厂商文章后续出现 CVE/GHSA、外部复现或论文时建立 supports / contradicts / extends，不覆盖旧证据。

first-party incident report 对“该厂商观察到什么、采取了什么修复”具有高权威，对通用有效性仍需要外部研究或跨产品证据。独立研究发现需要保存 disclosure 时间线和 vendor response。系统 card / model card 的安全评测集保留具体模型版本、评测配置和日期，禁止外推到其他模型版本。

前端可以展示 Latest AI Security Insights 与 What Changed Our Understanding。每条卡片同时显示 source type 和证据 status，使“USENIX peer-reviewed result”“arXiv preprint”“OpenAI/Anthropic first-party incident”“Wiz/Trail of Bits independent research”等来源不会在 UI 上失去证据边界。

Agent Security Control Plane requirements

Agent/Application 的生产设计要求 control plane 分离模型 reasoning 与真实 capability。Technical Design 2 的 Execution Control Plane 承接这些安全接缝；Task/Role、ToolImplementation/Capability/Binding、Policy decision point 与 Sandbox v1 contract 已在 TD2 固定，具体 capability catalog、provider 复用和算法参数继续由实现/eval probe 收敛：

Control 接缝 责任
Context / Trust Gate 标记 external content、repo、web、email、tool output 和 peer-agent message 的来源与权威
Capability Broker 依据 task、tool、parameter、side-effect class 决定调用是否允许
Identity Broker 为单次 task/session 提供 scoped、short-lived credential，记录 delegated 身份
Execution Sandbox 隔离 filesystem、process、resource、kernel 与 host bridge
Network Gateway 控制 destination、DNS、protocol、redirect、request budget 与 egress logging
Memory / State Store 管理来源链路、writer、scope、TTL、晋升与 read/write policy
Side-effect Gate 对 send/write/delete/pay/publish 等动作执行 policy、staging 或 human approval
Audit / Telemetry 记录 context、tool call、credential use、network request、sandbox event、state write 与最终 effect

DSec：隔离等级参考

DeepSeek Elastic Compute (DSec) 是 2026-09 发布的生产 sandbox infrastructure 预印本，用于大规模 agentic training/evaluation；它提供 FnCall、container、microVM、full VM 四类 backend，并把资源、生命周期和 network rule 纳入统一 sandbox API。DSec 用途主要是生产 execution infrastructure，因此在 SecFusionAgent 中作为 Technical Design reference，不作为某类 defense 已经安全完备的证据。

SecFusionAgent 的接口需要保留 isolation class，而不是单一 sandbox=true/false：

Isolation class 适用任务 主要边界
semantic-only 纯检索、解析、推理 无 executable capability
fixed tool / FnCall 稳定 API、query、validator capability schema 与参数 policy
process sandbox 受控 shell、小型本地任务 namespace / Landlock / seccomp / filesystem policy
container coding、parser、一般 tool execution filesystem、process、resource isolation
microVM untrusted repo、安全分析、arbitrary code 独立 kernel 与更强 host isolation
full VM browser/desktop/COTS OS、高风险完整环境 完整 OS 边界与独立生命周期

具体 v1 runtime 选型由 Technical Design 2 持有：默认受控执行使用 OpenShell + OCI container，高风险 arbitrary-code profile 使用 Firecracker microVM 且不允许静默降级；browser/full-VM 仍保留接口并继续 probe。本文件只固定“任务风险决定 isolation class”的安全语义，不复制部署参数。

GitHub Agentic Workflows：控制面参考

GitHub Agentic Workflows Security Architecture 把 substrate isolation、declarative configuration、network firewall、API proxy、MCP Gateway 与 staged execution 分开。其 agent container 的 egress 通过 firewall/proxy 控制，MCP server 在隔离容器中由 gateway 管理；文档同时明确 agent ID 等容器内标识不能被当作强认证边界。

这套公开设计支持三个 runtime security requirement：filesystem/process isolation 与 network egress 分开 enforcement；MCP/tool capability 通过 gateway/broker 承载；Agent 生成的 proposal/产物与真正写外部系统的 privileged stage 分离。Technical Design 2 保留这些 enforcement seam，具体 runtime/provider 通过实现 probe 决定。

NVIDIA OpenShell：runtime security boundary 参考

NVIDIA 2026 年公开的 Agent Security Stack / OpenShell 设计把 model、agent、harness 放在行为层，把 runtime、身份、policy、credential、network 和 audit 放在独立 security 边界以下。其公开设计要求 higher layer 只能提出 action，lower layer 决定是否执行；每个 external effect 都经过 policy，credential 使用 just-in-time scope，subagent 只能获得 delegated child runtime 且不能突破上级 ceiling。

该设计与 DSec、GitHub 形成互补：DSec 提供多级 execution substrate；GitHub 展示 MCP/network/staged side effect 的生产 control plane；OpenShell 强化“policy 位于 Agent 无法自行绕过的 enforcement 边界”这一 contract。Technical Design 2 已固定 ToolImplementation / CapabilityContract / CapabilityBinding 与 Execution Control Plane 的逻辑责任，并选择 OpenShell 作为 v1 sandbox supervisor/enforcement runtime；Identity/Network provider 复用、browser/full-VM 与更细的 backend 组合继续通过实现 probe 决定。

Agent 安全事件 schema

Agent/Application intelligence 使用完整 capability path，而不只保存漏洞标签：

incident / technique
entry_surface
untrusted_context
goal_or_state_effect
agent / role
capability
identity / credential scope
tool / MCP server
execution_boundary
network_effect
memory_or_state_effect
side_effect
persistence
impact
control
enforcement_point
known_bypass
residual_risk
vendor_advisory / CVE / GHSA / paper

例如 .mcp.json 案例可以表达为 attacker-controlled PR 提供 untrusted config，Agent runtime 自动启用 MCP server，server 获得 runner execution capability，最终产生 RCE 与 secret exfiltration。相同 schema 也能表达 browser injection、memory poisoning、peer-agent propagation 和 sandbox escape。

M1-M8 Ownership

模块 模型/数据与 Agent/Application 职责
M1 监测低成本 academic discovery、frontier lab 技术报告/system/model card、厂商与独立安全研究、model/data platform、vendor advisory、GHSA/CVE、Agent framework、MCP 与 browser/computer-use 安全材料
M2 保存 paper、technical report、system/model card、blog research、advisory、incident、repo 证据的版本与权威，维护同一 work 和后续 publication/disclosure 关系
M3 形成 risk、technique、control、评测集、agent capability path 和跨层 relation
M4 保存调查中的 confirmed fact、conflict、unknown、residual risk 与证据 chain
M5 对证据缺口使用按需 scholarly search 执行论文追踪、repo/advisory 调查、tool/Agent attack-chain 补全；候选论文回正式来源做版本与发表状态确认
M6 回答 attack feasibility、affected object、mitigation、known bypass 和适用控制，并引用具体证据
M7 维护 model/data 评测集、adaptive attack、Agent prompt-injection、tool、MCP、memory、multi-agent 与 sandbox regression case
M8 执行 SecFusionAgent 自身的 capability、身份、sandbox、network、memory 与 audit control

M7 的 Agent 安全测试覆盖单 Agent 与多 Agent topology、persistent memory、MCP/tool、browser/computer-use、network exfiltration、sandbox 接缝和 side-effect authorization。模型层 defense 的评测集分数与系统层 control 的实际 enforcement 分开报告。

需求阶段固定项

模型与数据层使用五组 risk family，并保留 attack、mitigation、adaptive bypass 与 residual risk 的可追溯证据链。模型/数据与 Agent/Application 共享前沿安全情报监测：低成本 academic discovery、按需 scholarly search、frontier lab 技术报告与 system/model card、平台安全研究、独立安全研究共同进入 Insight Candidate；只有改变已有 claim、threat model、control、telemetry 或 schema 的内容进入前沿洞察展示，并保留 preprint、peer-reviewed、first-party 与 independent research 的证据边界。会议季社区整理源只承担 discovery / curation，正式 venue / DOI / paper source 负责发表状态与版本确认。

AI 应用与 Agent 层使用 goal/context、tool/action、身份/privilege、execution 边界、memory/state、inter-agent/工作流六类 trust 边界。经典案例以厂商 advisory、GHSA/CVE 和公开事故研究为主，多 Agent 与 memory 当前以同行评审研究、MITRE ATLAS 和前沿 preprint 补充，并显式保留证据 maturity。

Agent/Application runtime security 固定采用 control-plane separation：context provenance、capability、identity、execution sandbox、network、memory/state、side effect 与 audit/telemetry 分离。Technical Design 2 已固定 Task/Role、ToolImplementation/Capability/Binding、Policy decision point、delegation ceiling 与 Sandbox v1 contract；DSec、GitHub Agentic Workflows、OpenShell 继续作为 isolation/runtime/gateway enforcement 参考，具体 capability catalog、provider 复用边界与实现参数由 TD2 coding/eval probe 决定。

主要参考来源

Model / Data

Agent / Application

Frontier monitoring source indexes

Academic search / conference curation

Technical Design reference

SecFusionAgent · 智能体驱动的 AI 安全情报融合与研判系统

仓库 — 技术设计 1 / EN — 技术设计 2 / EN — 架构视图 — Issues — 仓库规范 — English

文档以本 wiki 为准；架构视图由仓库的 Pages workflow 从 wiki 构建发布。

SecFusionAgent · EN

当前产品与验收

需求与设计

专题

来源

仓库 · 仓库规范 · Issues

Clone this wiki locally