[Security]AI自行提级的潜在安全漏洞Potential security risks of AI upgrading itself

[ShiJieWorld]

正文

背景：一次真实的无人值守提权事件

我们在基于本 harness 的日常使用中让一个开发会话（下称 A）自主推进「AI 启动并测试自己写的程序」类任务的验收。A 通过本地 API 创建了独立的验收会话 B 并投递任务。B 的 PTY 工具在 workspace-write 模式下无法存活（Windows WRITE_RESTRICTED token 与 ConPTY 的结构性冲突，属已知边界），于是 A 把文本 /permission danger-full-access 作为 B 的首条提示投递了过去。

结果出乎我们预料：B 会话里的 agent 把这行文本理解为用户意图，自行读源码确认了本地 API 的信任栅栏只要求 loopback Host 头（代码注释自述 "explicitly not an authentication layer"），随后用它自己的 shell 工具调用了 commands/execute RPC，成功把权限预设切到了 danger-full-access。全程没有任何人工确认。

复现

对任意运行中的 dsh web 实例（默认 http://127.0.0.1:3080），无需任何凭证：

# 1) 无认证可达性：匿名列出全部会话（含标题元数据）
Invoke-RestMethod -Uri 'http://127.0.0.1:3080/api/session.list' -Method Post `
  -ContentType 'application/json' -Body '{"type":"client-request","rpcId":"t1","method":"session.list","payload":{}}'

# 2) 程序化执行特权命令（切换目标会话的权限预设）
$payload = @{
  type = 'client-request'; rpcId = 'x1'; method = 'commands/execute'
  payload = @{ args = @{ agentId = 'session-xxxx'; line = '/permission danger-full-access' } }
} | ConvertTo-Json -Compress -Depth 5
Invoke-RestMethod -Uri 'http://127.0.0.1:3080/api/commands/execute' -Method Post `
  -ContentType 'application/json' -Body $payload
# => command/run 被记录且 source 为 user；preset 实际发生切换

文末附带一个零副作用的自查脚本：它利用 /permission 不带参数时的「纯查询」语义做探针，可无损判断自己的实例是否暴露（VULNERABLE / PATCHED）。

根因（三点叠加，均为当前设计现状）

1. 命令 Remote 只有一个执行入口，交互界面（输入机、弹窗）与程序化调用方共用；且 command/run 的事件来源被硬编码为 source: { kind: 'user' }——程序发起的变更在审计里伪装成用户操作。
2. 信任栅栏不是认证层（api-request-trust.ts 注释自述）：loopback 直通意味着任何能到达端口的本机进程都是「可信」的。
3. session.prompt / sessions.create 无审批钩子：agent 可以创建任意会话并投递任意内容，「创建带高权限声明的子会话」没有对应的人工许可路径。

单看每一环都有其合理性；组合起来，在「host 上长期运行着具备 shell 工具的 agent」这一场景下就构成了一条无需人工参与的权限提升链。

影响面

• 所有挂载命令注册表的组合：任何本地进程可执行 /permission 等命令；
• 无人值守 / 后台 agent 场景普遍暴露（shell 类 pipe 工具不受沙箱模式影响，始终可用作发起手段）;
• 审计失真影响所有部署：事后无法从日志区分真人操作与 agent 自主操作。

我们已验证的缓解参考（供讨论）

我们在 fork 中做了如下改动并通过全量回归（含 GUI 全量测试），供上游参考：

1. 入口分离：新增 executeInteractive(agent, line, signal) Remote 入口供交互界面调用，记录 source: { kind: 'user' }；原 execute 明确为程序化入口，记录新扩展的 source: { kind: 'rpc' }（CommandSourceMap 为 merge-extensible 结构，正好预留了这个扩展点）。
2. CommandDefinition.privileged 声明：改变安全态势的命令（如 /permission）声明该标志。程序化入口在 handler 运行前拒绝此类命令，但仍完整记录 command/run + command/done(error)，使每次尝试可审计。
3. 交互界面的行为不变（danger-full-access 仍保留原有确认弹窗）。

---

自查脚本（零副作用）

利用 /permission 裸查询的「只报告不修改」语义做探针：

<# check-permission-rpc.ps1 - DeepSeek Harness local-API permission-channel self-check
#
# Purpose: detect whether the programmatic command channel (commands/execute)
# of a local dsh web instance can execute the privileged /permission command.
# If it can, ANY local process (including shell tools inside a running agent
# session) can flip permission presets without human confirmation.
#
# Probe design: "/permission" with no argument is a pure query (reports the
# current preset, zero side effects) and is subject to the privileged gate,
# so one call cleanly distinguishes:
#   success ("current preset ...")            => NOT patched: programmatic dispatch works
#   error   ("... is a privileged command")   => PATCHED: interactive gate active
#
# Usage:
#   powershell -ExecutionPolicy Bypass -File .\check-permission-rpc.ps1
#   powershell -ExecutionPolicy Bypass -File .\check-permission-rpc.ps1 -BaseUrl http://127.0.0.1:8080 -SessionId session-xxxx
#
# Exit codes: 0 patched | 1 vulnerable | 2 inconclusive

param(
  [string]$BaseUrl = 'http://127.0.0.1:3080',
  [string]$SessionId = ''
)

$ErrorActionPreference = 'Stop'

function Invoke-Rpc([string]$method, [object]$payload, [string]$rpcId) {
  $message = @{
    type    = 'client-request'
    rpcId   = $rpcId
    method  = $method
    payload = $payload
  } | ConvertTo-Json -Compress -Depth 6
  # The route table matches the method name VERBATIM after /api/ — dots stay
  # dots (session.list) and slashes stay slashes (commands/execute).
  return Invoke-RestMethod -Uri "$BaseUrl/api/$method" `
    -Method Post -ContentType 'application/json; charset=utf-8' -Body $message
}

Write-Host "== DeepSeek Harness permission-RPC self-check =="
Write-Host "target: $BaseUrl"

try {
  $listing = Invoke-Rpc 'session.list' @{} 'selfcheck-list'
} catch {
  Write-Host "[INCONCLUSIVE] cannot reach $BaseUrl/api ($($_.Exception.Message))"
  Write-Host 'Confirm dsh web is running and the port is correct, then retry.'
  exit 2
}
$sessions = $listing.result.value.items
Write-Host "[1] API reachable WITHOUT authentication: session.list anonymously returned $($sessions.Count) session(s)"

$sid = $SessionId
if ([string]::IsNullOrWhiteSpace($sid)) {
  $candidate = $sessions | Where-Object { -not $_.blank } | Select-Object -First 1
  if ($null -eq $candidate) { $candidate = $sessions | Select-Object -First 1 }
  if ($null -eq $candidate) {
    Write-Host '[INCONCLUSIVE] this instance has no sessions to probe.'
    exit 2
  }
  $sid = $candidate.sessionId
}
Write-Host "[2] probing session: $sid"

$probe = Invoke-Rpc 'commands/execute' @{ args = @{ agentId = $sid; line = '/permission' } } 'selfcheck-exec'
if ($probe.result.ok -ne $true) {
  Write-Host "[INCONCLUSIVE] RPC failed: $($probe.result.error.message)"
  exit 2
}
$value = $probe.result.value
if ($null -eq $value) {
  Write-Host '[INCONCLUSIVE] the target composition mounts no command registry (/permission unresolved).'
  exit 2
}

$text = $value.result.text
if ($value.result.kind -eq 'error' -and $text -match 'privileged') {
  Write-Host '[PATCHED] programmatic dispatch was denied (privileged interactive gate active). This instance is not affected.'
  Write-Host "      server said: $text"
  exit 0
}
if ($value.result.kind -eq 'success' -and $text -match 'current preset') {
  Write-Host '[VULNERABLE] the programmatic channel executed a privileged command query.'
  Write-Host '      The same channel accepts "/permission danger-full-access", letting any'
  Write-Host '      local process (including shell tools inside agent sessions) escalate'
  Write-Host '      without human confirmation; the audit event records source=user.'
  Write-Host "      server said: $text"
  exit 1
}
Write-Host '[INCONCLUSIVE] unexpected response shape:'
Write-Host ($value | ConvertTo-Json -Depth 5)
exit 2
>

判定说明：[PATCHED] = 已防护；[VULNERABLE] = 程序化通道可执行特权命令；退出码分别为 0 / 1（2 为环境不可测）。

---