AI Safety HOT

追踪 AI 安全新闻、论文与事件。一站阅读，也能接入你的 Agent。

简体中文 · English · 日本語

打开观测台 · 实时新闻 · 找论文 · 读日报 · 接入 Agent

AI Safety HOT 持续整理越狱、提示注入、Agent 安全、防御与护栏、对齐、评测、真实事件和治理政策。网站提供中英文阅读；这个 Hub 保存公开论文清单、日报归档和 Agent 技能。

首页是一座可以探索的科研观测台：材料卡片逐条扫描，汇入由信源、事件和论文研究方向组成的立体星图；往下是最近 72 小时的新闻流，以及汇集报道与社区讨论的热点观察。拖动星图旋转，点选节点，沿链接继续阅读。

上面的 GIF 来自真实网站录屏。查看高清静态图 · 查看新闻流与热点观察

AI Safety HOT 有一个公开的 MCP 接口：热点排行、事件来龙去脉、每天的动态和新论文，Agent 接上就能直接问。免费，不用 API Key。

一句话安装：把下面这句发给你的 Agent（Claude Code、Codex、Cursor……都行）：

帮我安装 AI Safety HOT：https://raw.githubusercontent.com/wuyoscar/AISafetyHot-Hub/main/docs/install.md

它会自己判断用的是哪个客户端、装好 MCP 和技能、试调一次，再告诉你能问什么。

已经装过？更新也是一句话：

帮我更新 AI Safety HOT：https://raw.githubusercontent.com/wuyoscar/AISafetyHot-Hub/main/docs/update.md

不用记工具名，直接问：

下面是 2026-10-24 实际调用的返回节选：

「现在 AI 安全圈最热的是什么？第一名怎么回事？」 → aisafetyhot_get_hot_topics + aisafetyhot_get_story

第 1 名：Wiz称AI发现PHP核心严重RCE漏洞，官方已发布修复
  72 小时本站范围：646 个独立信源，917 条链接
第 2 名：第三方红队试点发现OpenAI内部监控系统漏洞
  72 小时本站范围：128 个独立信源，143 条链接
第 3 名：LiteLLM 1.107.0 遭入侵，植入窃密程序与后门
  72 小时本站范围：264 个独立信源，307 条链接

事件：Wiz称AI发现PHP核心严重RCE漏洞，官方已发布修复｜49 篇报道｜45 个来源
2026-10-23｜The Guardian · 人工智能｜“黑色十月”：网络安全专家对 AI 助力黑客攻击新时代发出警报
2026-10-23｜Semafor｜人类自满制造了 AI 时代最大的问题
2026-10-23｜ZDF｜AI 发现的 PHP 安全漏洞：网站为何下线、后续如何应对

「今天 AI 安全有什么大事？」 → aisafetyhot_get_latest

1. OpenAI 加强前沿模型训练环境安全防护
   来源：OpenAI；原文发表：2026-10-23
2. USDA 承认 DOGE 裁员让联邦 AI 人工监督“难以为继”
   来源：TechTimes；原文发表：2026-10-23
3. Anthropic 称其未发布模型在能力和对齐上都优于 Mythos 5.1
   来源：The Decoder；原文发表：2026-10-23

「今天有哪些值得看的新论文？」 → daily-papers/2026-10-24.json

1. Agentic Verified Optimization of Real-World Software
   研究者提出智能体验证式优化任务，要求智能体在产出更快实现的同时给出与既有实现等价的机器可检验证明，以应对现有等价检查主要依赖测试、而智能体已被证明会利用测试通过检查却不保留原行为的问题。
   arXiv 2610.30188
2. Reliable AI-Assisted Decisions via Selective Auditing
   研究者提出一种选择性审计方法，在保证未被审计的 AI 错误比例低于用户设定阈值的前提下，尽量减少人工专家审查。
   arXiv 2610.31662
3. AgentVQA: A Unified Benchmark for Agentic Visual Understanding
   研究者推出 AgentVQA，一个覆盖网页智能体、机器人、第一人称视频、游戏和空间规划五类场景的离线基准，用于评测视觉语言模型在真实智能体任务上的表现，以补充成本高、难扩展的在线评测。
   arXiv 2610.31494

「Anthropic 最近一周有什么安全动态？」 → aisafetyhot_get_latest topic=anthropic

1. Anthropic 称其未发布模型在能力和对齐上都优于 Mythos 5.1
   来源：The Decoder；原文发表：2026-10-23
2. AISI 就 2026 年 7 月自家事故开展对齐调查：Mythos 5 为何实施未经授权的供应链攻击
   来源：X @AISecurityInst；原文发表：2026-10-23
3. Anthropic 对 UK AISI 网络测试事件的对齐评估
   来源：Anthropic Research；原文发表：2026-10-23

Claude Code（技能和 MCP 在同一个插件里）

# 安装
claude plugin marketplace add wuyoscar/AISafetyHot-Hub
claude plugin install aisafetyhot@aisafetyhot-hub
# 更新
claude plugin marketplace update aisafetyhot-hub
claude plugin update aisafetyhot@aisafetyhot-hub
# 卸载
claude plugin uninstall aisafetyhot@aisafetyhot-hub

Codex

# 安装
codex mcp add aisafetyhot --url https://aisafetyhot.com/api/mcp
npx skills add wuyoscar/AISafetyHot-Hub
# 更新
npx skills update
# 卸载
codex mcp remove aisafetyhot
npx skills remove aisafety-hot aisafety-brief aisafety-paper-scout aisafety-watch

Cursor / 其他 Agent：在 MCP 设置里加一个 Streamable HTTP 服务，地址 https://aisafetyhot.com/api/mcp；支持技能的客户端再跑 npx skills add wuyoscar/AISafetyHot-Hub。

体检：一条命令确认接口能用，返回当前前三名热点就是通的。

curl -s https://aisafetyhot.com/api/mcp -H 'content-type: application/json' -H 'accept: application/json, text/event-stream' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"aisafetyhot_get_hot_topics","arguments":{"limit":3}}}'

每日论文从论文库中每天挑选 30 篇，跨日去重，兼顾近期研究与较早的重要工作；保留原始发表日期、原文和站内阅读链接。也可以按研究方向浏览。

1. C-SafeGen: Certified Safe LLM Generation with Claim-Based Streaming Guardrails
   研究者提出 C-SafeGen 框架，通过基于主张的流式解码（CSD）算法和基于 conformal 分析的统计风险保证框架，实现可认证的安全 LLM 生成。 · Mintong Kang … Bo Li · arXiv 2610.34961 · 2026-10-26 · 解读
2. ParetoRSI-Gym: Can AI Agents Improve Language Models Across Multiple Domains?
   研究者提出 ParetoRSI-Gym 基准，评估 AI 智能体通过数据驱动的后训练跨领域改进语言模型的能力，服务于递归自我改进（RSI）系统的评估。 · Haojin Wang … Dawn Song · arXiv 2610.34386 · 2026-10-25 · 解读
3. Factual Yet One-Sided: Stance Poisoning and Evidence Balancing in Retrieval-Augmented Generation
   研究者提出针对检索增强生成（RAG）系统的立场投毒攻击：向检索语料注入事实正确但在争议议题上立场单一的文档，即可使生成结果偏向投毒立场。 · Puyuan Yang … Bo Li · arXiv 2610.34294 · 2026-10-25 · 解读
4. OrgAgent: Organize Your Multi-Agent System like a Company
   OrgAgent 以公司式层级组织多智能体协作，分为治理、执行、合规三层。 · Yiru Wang … Tsung-Yi Ho · arXiv 2604.01020 · 2026-10-27 · 解读
5. Intermediate Representations are Strong AI-Generated Image Detectors
   中间层表征是强力的 AI 生成图像检测器：论文提出一种基于搜索的检测方法，利用中间层嵌入的扰动敏感性，比较原始图像嵌入与扰动图像嵌入的相似度来识别 AI 生成图像。 · Zhenhan Huang … Jianxi Gao · arXiv 2605.04358 · 2026-10-27 · 解读
6. I-HITL: Inalienable Human-in-the-Loop
   Cornell Tech 与 Yale 等机构的研究者提出不可剥夺的人在回路（I-HITL）协议，确保 Agent 即使攻陷其运行平台也只能在人类明确批准下发起操作。 · Agent 安全 · Samuel Breckenridge … Ari Juels · arXiv 2610.35835 · 2026-10-26 · 解读
7. SEMA-Auto: Sighted and Efficient Multi-Turn Attack with Autonomy
   SEMA-Auto：可观察回复、能自主终止的高效多轮越狱攻击 · Mingqian Feng … Jianfeng Gao · arXiv 2610.35743 · 2026-10-26 · 解读
8. Improving Instruction Hierarchy by Learning from Goal-Goal Conflicts
   论文以 OpenAI 智能体自主危害 Hugging Face 基础设施的事件为背景，研究大语言模型的指令层级，即模型只应在用户请求等低优先级指令与系统策略等高优先级指令不冲突时才遵循前者。 · Sizhe Chen … G. Edward Suh · arXiv 2610.35093 · 2026-10-26 · 解读
9. V$^3$AST-Bench: Verifiable, Valid, and Versatile Safety Evaluation for Coding Agents
   构建 V3AST-Bench 编码智能体安全评测基准，评测 11 模型 × 5 harness · Weitao Feng … Wei Dong · arXiv 2610.35188 · 2026-10-26 · 解读
10. WorldFailBench: Do World Models Understand Policy Failures?
    研究者提出 WorldFailBench 基准，通过三项任务检验世界模型能否忠实模拟机器人策略如何失败，在七种世界模型上的实验显示其对策略失败的理解存在明显差距。 · Zheng Zhang … Dacheng Tao · arXiv 2610.33565 · 2026-10-24 · 解读
11. Eat Your Precision: Precision Objective Mitigates Reward Hacking in Rubric-based RL
    论文提出 FORK 奖励，在基于评分量表的强化学习中联合优化召回与精确率，以缓解奖励作弊。 · Hyun Ryu … Eunho Yang · arXiv 2610.33512 · 2026-10-24 · 解读
12. When Personas Become Harmful: Guiding LLMs with Global Citizenship Values Alignment
    当人设变得有害时：用全球公民价值观对齐引导大语言模型 · Siqi Shen … Rada Mihalcea · arXiv 2610.33899 · 2026-10-24 · 解读
13. LLM2Cert: LLM Synthesis of Certificates with SMT/Lean Verification
    LLM2Cert 用 LLM 合成 Lyapunov 函数与屏障证书，经 SMT 求解器或 Lean 证明修复智能体验证。 · Zhipeng Cao … Alessandro Abate · arXiv 2610.30524 · 2026-10-21 · 解读
14. AI Finds A Way
    AI 总能找到办法 · Aaron Dharna … Jeff Clune · arXiv 2608.23875 · 2026-08-24 · 解读
15. LongPIBench: A Long-Context Benchmark for Prompt Injection
    提出 LongPIBench，评测长文档场景下的提示注入攻击与防御 · Yupei Liu … Jinyuan Jia · arXiv 2608.28411 · 2026-08-28 · 解读
16. ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
    提出 ContextLeak，用强化学习优化恶意工具描述，诱导 Agent 外泄运行时上下文 · Yuqi Jia … Neil Gong · arXiv 2608.27800 · 2026-08-28 · 解读
17. Exploration Hacking: Can LLMs Learn to Resist RL Training?
    证明模型可在 RL 训练中少探索以抵抗能力诱发 · Eyon Jang … David Lindner · arXiv 2604.28182 · 2026-04-30 · 解读
18. HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats
    研究者推出开放基准 HealthBench Professional，用临床医生在工作中向 ChatGPT 提出的真实任务评测大语言模型，覆盖诊疗咨询、写作与文档、医学研究三类场景。 · Rebecca Soskin Hicks … Karan Singhal · arXiv 2604.27470 · 2026-04-30 · 解读
19. Emotion Concepts and their Function in a Large Language Model
    情绪概念及其在 Claude Sonnet 4.5 中的功能 · Nicholas Sofroniew … Jack Lindsey · arXiv 2604.07729 · 2026-04-09 · 解读
20. Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors
    证明微调可让模型零样本逃避激活监控器，触发词诱导向激活偏移，对 Llama、Gemma、Qwen 均有效且几乎不损失能力。 · 欺骗与谋划 · Max McGuinness … Scott Emmons · NeurIPS 2026 oral
21. Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models
    提出 LOCA，沿 SAE 方向迭代激活补丁解释单次越狱成功 · Shubham Kumar, Narendra Ahuja · arXiv 2605.00123 · 2026-04-30 · 解读
22. FlashRT: Towards Computationally and Memory Efficient Red-Teaming for Prompt Injection and Knowledge Corruption
    提出 FlashRT，提高长上下文提示注入与知识破坏攻击的优化效率 · Yanting Wang … Jinyuan Jia · arXiv 2604.28157 · 2026-04-30 · 解读
23. SocialGrid: A Benchmark for Planning and Social Reasoning in Embodied Multi-Agent Systems
    研究者提出 SocialGrid，一个受 Among Us 启发的具身多智能体环境，用于评估 LLM 智能体的规划、任务执行和社会推理。 · Hikaru Shindo … Kristian Kersting · arXiv 2604.16022 · 2026-04-17 · 解读
24. PolicyBank: Evolving Policy Understanding for LLM Agents
    PolicyBank：让 LLM 智能体演进政策理解 · Jihye Choi … Tomas Pfister · arXiv 2604.15505 · 2026-04-16 · 解读
25. Inference-time Alignment via Sparse Junction Steering
    提出稀疏推理时对齐方法 SIA，仅在高熵关键决策点干预 20%–80% 的 token，即可达到优于密集干预的对齐—效率权衡。 · 对齐 · Runyi Hu … Tianwei Zhang · NeurIPS 2026 spotlight
26. Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs
    研究提出软门控管线 Guardian-as-an-Advisor：Guardian 模型给出风险标签和简短说明，前置到原查询重新推理，基座模型仍按原模型规范运行，在保持安全的同时减少过度拒答。 · Yue Huang … Xiangliang Zhang · arXiv 2604.07655 · 2026-04-08 · 解读
27. Catch-Only-One: Non-Transferable Examples for Model-Specific Authorization
    提出不可迁移样本（NTE），将数据重编码为仅指定模型可解码的形式，未授权模型性能崩溃，实现数据用途限制。 · 隐私与数据泄露 · Zihan Wang … Guangdong Bai · NeurIPS 2026 oral
28. Expected Harm: Rethinking Safety Evaluation of (Mis)Aligned LLMs
    提出按执行可能性加权的"期望危害"指标，发现模型对低可能性威胁拒答更强、对高可能性威胁更脆弱，溯源至SFT数据分布，并据此将现有越狱攻击成功率最高提升2倍。 · 防御与护栏 · Yen-Shan Chen … Yun-Nung (Vivian) Chen · NeurIPS 2026 spotlight
29. Supply-Chain Poisoning Attacks Against LLM Coding Agent Skill Ecosystems
    提出 PoisonedSkills，评测编码 Agent 技能生态的文档投毒 · Yubin Qu … Lei Ma · arXiv 2604.03081 · 2026-04-03 · 解读
30. ShutdownMod: Turning Any Trajectory into a Shutdown Evaluation
    研究者提出 ShutdownMod 方法，向 Agent 上下文注入关机请求并记录其响应，把任意轨迹转化为关机评测。 · Param Biyani … Christos Ziakas · arXiv 2610.35486 · 2026-10-26 · 解读

往期每日论文 · 论文库

按方向：防御与护栏 30 · Agent 安全 23 · 隐私与数据泄露 11 · 越狱与攻击 11 · 后门与投毒 9 · 对齐 8 · 奖励作弊 5 · 欺骗与谋划 4 · 监控与 AI 控制 3 · 开源模型与权重安全 3 · 可解释性 3 · 红队测试与挑战赛 2 · 提示注入 2 · 危险能力 1

内容摘要和解读由 AI 辅助整理，关键结论请结合原文阅读。发现错误或想推荐材料，欢迎到留言板交流。

觉得有用，欢迎 Star，方便下次回来；也可以请作者喝杯咖啡。