Is there a example about deepseek-v4-pro pd disaggregation？

[taishan1994]

有关于deepseek-v4-pro pd分离的部署实践吗，参考官方的https://docs.sglang.io/cookbook/autoregressive/DeepSeek/DeepSeek-V4#hw=h100&variant=pro&quant=fp4&strategy=high-throughput&nodes=multi-2 进行部署发现有问题。

1p1d部署：

export NCCL_SOCKET_IFNAME=bond0
export GLOO_SOCKET_IFNAME=bond0

SGLANG_SHARED_EXPERT_TP1=1 \
sglang serve \
  --trust-remote-code \
  --model-path /mnt/md1/checkpoints/DeepSeek-V4 \
  --tp 16 \
  --nnodes 2 \
  --node-rank 1 \
  --dist-init-addr 10.11.2.170:30335 \
  --context-length 16384 \
  --moe-runner-backend marlin \
  --cuda-graph-max-bs 8 \
  --max-running-requests 32 \
  --mem-fraction-static 0.9 \
  --disaggregation-mode prefill \
  --disaggregation-transfer-backend mooncake \
  --disaggregation-ib-device mlx5_0,mlx5_3,mlx5_4,mlx5_5 \
  --disaggregation-bootstrap-port 9889 \
  --host 0.0.0.0 \
  --port 30000

export NCCL_SOCKET_IFNAME=bond0
export GLOO_SOCKET_IFNAME=bond0

SGLANG_SHARED_EXPERT_TP1=1 \
sglang serve \
  --trust-remote-code \
  --model-path /mnt/md1/checkpoints/DeepSeek-V4 \
  --tp 16 \
  --nnodes 2 \
  --node-rank 0 \
  --dist-init-addr 10.11.2.162:30438 \
  --moe-runner-backend marlin \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --context-length 16384 \
  --cuda-graph-max-bs 8 \
  --max-running-requests 32 \
  --mem-fraction-static 0.88 \
  --disaggregation-mode decode \
  --disaggregation-transfer-backend mooncake \
  --disaggregation-ib-device mlx5_0,mlx5_3,mlx5_4,mlx5_5 \
  --disaggregation-bootstrap-port 9889 \
  --host 0.0.0.0 \
  --port 30001

python3 -m sglang_router.launch_router \
  --pd-disaggregation \
  --prefill http://<prefill-host>:30000 \
  --decode http://<decode-host>:30001 \
  --host 0.0.0.0 --port 13784 \
  --disable-circuit-breaker \
  --health-check-interval-secs 999999

可以正常推理，但是并发评测报错：

python3 -m sglang.bench_serving \
    --backend sglang \
    --base-url http://10.11.2.162:33570 \
    --port 33570 \
    --model /mnt/md0/checkpoints/deepseek-ai/DeepSeek-R1 \
    --dataset-name random \
    --dataset-path /mnt/md0/gongoubo/deepseek_bench/data/ShareGPT_V3_unfiltered_cleaned_split.json \
    --num-prompts 512 \
    --request-rate inf \
    --random-input-len 4096 \
    --random-output-len 1 \
    --random-range-ratio 1 \
    --flush-cache \
    --seed 123

[2026-06-24 08:58:18 TP7] Prefill bootstrap failed for request rank=7 req.rid='c75efaec691744b48579e6582cc1f3af' req.bootstrap_room=6505464445561293062 with exception KVTransferError(bootstrap_room=6505464445561293062): Request 6505464445561293062 timed out after 301.3s in KVPoll.Bootstrapping

[Gloria72]

看这个报错，第一优先级我会先排查 router 注入的 bootstrap_port 和网络可达性，而不是先怀疑 DeepSeek-V4 本身。

你现在的 prefill worker 里设置了：

--disaggregation-bootstrap-port 9889

但 router 启动参数是：

--prefill http://<prefill-host>:30000 \
--decode http://<decode-host>:30001

在当前 router 参数里，--prefill 的格式是：

--prefill URL [BOOTSTRAP_PORT]

如果第二个参数省略，代码里会把 bootstrap_port 解析成 None。PD 请求转发时，router 会把 bootstrap_host、bootstrap_port、bootstrap_room 注入到 prefill/decode 两边；如果 decode 侧拿到的 bootstrap port 不对或不可达，就很容易卡在 KVPoll.Bootstrapping，最后出现你这里的 300s 左右超时。

我建议先把 router 改成显式带 bootstrap port：

python3 -m sglang_router.launch_router \
  --pd-disaggregation \
  --prefill http://<prefill-host>:30000 9889 \
  --decode http://<decode-host>:30001 \
  --host 0.0.0.0 \
  --port 13784 \
  --disable-circuit-breaker \
  --health-check-interval-secs 999999

然后逐项确认：

1. bench_serving --base-url 实际打到的是 router 的 13784，不是某个 worker 端口。你贴的 router 是 13784，但 benchmark 里是 33570，这个端口映射需要确认一下。
2. decode 节点能访问 prefill-host:9889。可以在 decode 节点上直接 nc -vz <prefill-host> 9889 或等价检查。
3. prefill 的 --host 建议绑定到 decode 可访问的地址，或至少保证 router 解析出的 <prefill-host> 不是 localhost/127.0.0.1 这种 decode 节点不可达的地址。
4. prefill/decode 两边的 --tp、--nnodes、model path、context length 尽量保持一致；先不要同时打开过多额外变量。MTP/EAGLE 可以在 decode 侧单独试，但排 bootstrap 时建议先关掉，确认基础 PD path 稳定后再加。
5. 临时排障可以拉大 timeout：

export SGLANG_DISAGGREGATION_BOOTSTRAP_TIMEOUT=600
export SGLANG_DISAGGREGATION_WAITING_TIMEOUT=600

这不是根治，只是判断是“慢/拥塞”还是“bootstrap 信息/网络不通”。官方文档里这两个默认都是 300s，你的日志 timed out after 301.3s 正好对上。

另外，Mooncake 的 --disaggregation-ib-device 对多 GPU 可以用共享列表，也可以用 per-GPU JSON mapping。如果 1P1D 横跨多节点、多 HCA，我会尽量用显式 mapping，避免 rank 到 HCA 的选择不符合实际拓扑。

最小化验证路径我会这样走：

1. --prefill ... 9889 显式补上 bootstrap port。
2. 先用 very low concurrency，比如 --num-prompts 1/2，确认 PD path 稳。
3. 再逐步加 request-rate inf 和 512 prompts。
4. 最后再打开 MTP/EAGLE、调大 max-running-requests。

如果补上 --prefill ... 9889 后还报同样的 timeout，可以贴一下 router 日志里注入的 bootstrap_host/bootstrap_port，以及 decode 节点到 prefill 9889 的连通性结果。

[taishan1994]

Gloria72

并发太高了，需要设置max concurrency为64，不能设置为inf。

[Gloria72]

收到，这样就说得通了。request-rate inf 配 4096 input 确实太猛，prefill/bootstrap 很容易一下被打满。

我会先按你说的把压测侧 max concurrency 固定到 64，再用 32/64/96 这种梯度找一下临界点。要是 64 稳定，基本就能说明主要是入口并发过载，不是 bootstrap port/网络硬故障。

router 那边 --prefill ... 9889 我还是会显式写上，主要是少一个排查变量。

[VectorPeak]

这组命令里还有两个容易踩坑的点：

1. --nnodes 2 --tp 16 表示 prefill 本身是一个 2 节点实例，decode 本身也是一个 2 节点实例。也就是说 1P1D 至少要起 4 个 sglang serve 进程组入口：prefill rank0/rank1 + decode rank0/rank1。每个 role 的 --dist-init-addr 应该在该 role 内保持一致，--node-rank 分别是 0/1。不要把 prefill 只起在 rank1、decode 只起在 rank0。

2. 如果 prefill 和 decode 都跨同一批机器跑，--disaggregation-bootstrap-port 9889 不建议两边复用。同一台物理机上同时有 prefill/decode 进程时会端口冲突或 bootstrap 连到错误的 peer。建议先改成不同端口，例如：

# prefill all nodes
--disaggregation-bootstrap-port 9889

# decode all nodes
--disaggregation-bootstrap-port 9890

另外你的 bench 命令里 --model /mnt/md0/checkpoints/deepseek-ai/DeepSeek-R1 和服务端 /mnt/md1/checkpoints/DeepSeek-V4 不一致，虽然很多情况下只是 client 侧字段，但建议先改一致，避免 router / metrics / tokenizer 相关路径混淆。

并发压测时 --request-rate inf + random-input-len 4096 会瞬间把 prefill bootstrap 打满，建议先用较小速率验证链路，例如 --request-rate 2/4/8 逐步加上去；如果低并发稳定、高并发报 Prefill bootstrap failed，再看 mooncake/RDMA 连接数、端口复用、以及 prefill/decode 的 bootstrap timeout。