Support pause / resume for sandboxes with host-mount

[ggrp-china]

Background

Cube Sandbox currently provides two capabilities:

• host-mount: mount a host directory into the sandbox; (see [Feature Request] Provide E2B-compatible sandbox NFS volume support #106 for the observed behavior).
• pause / resume: pause a sandbox to release resources, and resume it later.
  However, these two capabilities are not supported together

Request

We'd like sandboxes with host-mount to also support pause / resume properly. The current workaround is to destroy and recreate the sandbox, but that loses all in-sandbox processes and runtime state, which defeats the purpose of pause / resume.

[kinwin-ustc]

Storage outside the sandbox may change between pause and resume, causing resume to fail. Therefore, we do not yet support pause/resume for this scenario. One possible solution is to dynamically unmount the host-mount before pausing and dynamically mount the host-mount after resuming.

[kinwin-ustc]

I've turned this into an issue, and we'll follow up here

[nemo1105]

我也碰到了同样的问题：有host-mount的沙盒，执行pause成功了，通过 cubecli b ls -a能看到 Paused状态的沙盒，但是恢复报错：

CubeMaster returned error code 130589: Others(\"Other: Resume vm failed:resume vm from snapshot failed:Cannot restore VM: Failed to restore migratable component: Failed activating the device: InvalidVirtioFsState(Custom { kind: NotFound, error: \\\"Inode 1: Migration source has lost inode 1\\\" }), status: launched\") (HTTP 500)

让codex分析了一下，结论如下：

• 结论：这个沙盒当前不是“某个 host 目录被删了导致恢复失败”，而是 CubeSandbox 当前的 pause -> snapshot -> resume 路径对 virtiofs/host-mount
有实现缺陷。既然你们现在所有沙盒都会有 host-mount，那现状下应该视为“不支持安全暂停恢复”，至少不能启用自动 pause。

我看源码后确认链路是：

1. host-mount 会被 CubeMaster 注入为 HostDir volume，再由 Cubelet bind 到 /data/cubelet/hostdir//<rw|ro>/，见 /Users/nemo/
   workspace/ai/CubeSandbox/Cubelet/storage/hostdir.go:64。
2. Cubelet 生成 virtiofs 配置时，把这个目录作为 SharedDir，把 bind 点作为 AllowedDirs，并挂到 virtio_rw/virtio_ro，见 /Users/nemo/
   workspace/ai/CubeSandbox/Cubelet/plugins/cbri/cubeboxcbri/virtiofs.go:55。
3. pause 调的是 shim 的 VmPauseToSnapshot，最终 VMM 的实现只是：
   vm_pause(); vm_snapshot(); vm_delete()，见 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/vmm/src/lib.rs:613。
4. 但 virtiofs 快照前必须调用 start_migration()，它会触发 Fs::start_migration -> prepare_serialization()，给 inode 写入可恢复的迁移路径，
   见 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/virtio-devices/src/fs.rs:1078 和 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/
   virtiofsd/src/passthrough/device_state/mod.rs:32。
5. 现在 VmPauseToSnapshot 没调用 vm.start_migration()，所以 virtiofs inode 没有 migration_info。序列化代码本来注释说所有 inode 都必须有迁
   移信息，但实际遇到错误时会吞掉错误并把 inode 写成 Invalid，见 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/virtiofsd/src/
   passthrough/device_state/serialization.rs:43。
6. resume 时遇到 Invalid，默认策略是 MigrationOnError::Abort，所以直接报 Migration source has lost inode 1，见 /Users/nemo/workspace/ai/
   CubeSandbox/hypervisor/virtiofsd/src/passthrough/device_state/deserialization.rs:229。

这和现场日志完全吻合：pause 时 virtio_rw 已经把 inode 1 以及 host-mount 相关 inode 都标成 invalid；resume 时不是重新找当前 host 目录，而是
读到快照里的 Invalid，因此报 InvalidVirtioFsState ... Inode 1: Migration source has lost inode 1。我之前在宿主机上核对过，/data/cubelet/
hostdir//rw 和 thread workspace/uploads/skills 目录都还在，所以不是目录丢失。

解决方案建议分三层：

1. 立即止血：对带 host-mount/virtiofs 的沙盒禁用自动 pause；已进入这种 broken paused 状态的沙盒基本不能可靠原地修复，只能销毁重建，host-
   mounted 的 workspace/uploads/skills 数据可以保留。
2. 核心修复：在 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/vmm/src/lib.rs:613 的 vm_pause_to_snapshot() 里，按正式迁移流程补上
   vm.start_migration()，顺序应接近现有 migration 流程 /Users/nemo/workspace/ai/CubeSandbox/hypervisor/vmm/src/lib.rs:1623：先
   start_migration，再 pause，再 snapshot。
3. 防御修复：修改 virtiofs 序列化，至少 root inode 1 不能被降级写成 Invalid；root 缺迁移信息时应让 pause 失败，而不是生成一个必然无法
   resume 的快照。更严格地说，缺 migration_info 的 inode 应该让 snapshot 失败或只对明确允许的非 root inode 使用 guest-error 策略。

另外 shim 这里也有状态一致性问题：sb.pause_vm() 在真正 pause_vm_cube() 成功前就把状态改成 Paused，见 /Users/nemo/workspace/ai/CubeSandbox/
CubeShim/shim/src/sandbox/sb.rs:1153。如果 snapshot 失败，状态容易残留异常；这个也应该一起修。

[nemo1105]

我提交了一个PR： #341