Skip to content

bigsinger/MITAgentSecCourse

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

MIT Agent安全课程

MIT 6.566 Computer Systems Security, Spring 2026 — Guest Lecture
主讲人:Anish Athalye(MIT博士,Handshake AI研究员)
发布时间:2026-05-18 | 时长:84:52## 📖 关于本书

本书基于 MIT 计算机系统安全课程(6.566)中关于 AI Agent 安全 的专题讲座整理而成。讲座由 Anish Athalye 主讲,从 系统级视角 审视 LLM 和 AI Agent 的安全问题,深度分析了 Prompt 注入攻击、双重 LLM 模式、CaMeL(基于能力的机密性与操作强制保障)等前沿安全课题。

🔗 讲座视频:https://www.youtube.com/watch?v=w0oGeKxD5Fc
📦 讲义代码:https://github.com/anishathalye/ai-agent-security-lecture
📄 推荐论文:Defeating Prompt Injections by Design (CaMeL) — Debenedetti et al., 2025## 📑 目录结构

篇章 标题 内容概要
第1篇 课程概述与AI Agent基础 课程概览、Agent定义、安全威胁总览
第2篇 LLM系统级视角 从语言模型到对话系统、工具调用、ReAct/CodeAct架构
第3篇 Prompt注入攻击深度分析 直接/间接注入、经典案例、现有防御与局限
第4篇 双重LLM模式与CaMeL Dual LLM模式、CaMeL能力系统、安全策略与局限
第5篇 前沿展望与实操指南 红队测试、代码实践、总结与未来方向
  • 系统级LLM视角:将LLM视为系统组件而非黑盒来分析安全威胁

  • AI Agent安全威胁:Agent在自主执行任务时面临的独特安全挑战

  • Prompt注入攻击:深度分析这一最危险的Agent安全漏洞

  • 双重LLM模式:通过特权/隔离LLM分离控制流与数据流的防御架构

  • CaMeL:基于能力(Capabilities)的信息流控制框架,提供形式化安全保障

  • MIT学术级内容:含完整讲义笔记和13个交互式演示代码## ⚙️ 如何使用本书

  • 在线阅读:本书以 GitBook 格式编排,支持本地预览

  • 动手实践:见 第5篇·代码实践指南,使用 uv run 运行各演示文件

  • 深入学习:推荐配合讲座视频(84:52)和原始讲义代码一起学习## 📚 推荐阅读

  1. Defeating Prompt Injections by Design (CaMeL) — Debenedetti et al., 2025
  2. The Dual LLM Pattern — Simon Willison, 2023
  3. ReAct: Synergizing Reasoning and Acting in Language Models — Yao et al., 2022
  4. CodeAct: Making LLMs Code Agents — Wang et al., 2024
  5. MIT 6.566 Computer Systems Security

下一篇第1篇·课程概述与AI Agent基础

About

MIT的Agent安全课程

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors