Home.zh

4× RTX PRO 6000 — Wiki

English | Русский | 中文

你有 四块 NVIDIA RTX PRO 6000 Blackwell Workstation Edition（每块 96 GB GDDR7）， 没有 NVLink —— 问题只有一个：如何在这台机器上真正地部署大型开源 MoE 模型？ 本 wiki 就是答案：一步步教你如何用本仓库的专家均衡（hotsplit）补丁启动 vLLM。

实际运行的内容。 实时 hot/cold 运行时钩子目前只接入了 MiMo-V2.6-Pro 配方（run-tp4-hotsplit.sh）。DeepSeek-V4.1-Flash、GLM-5.3 和 GLM-5.3-Flash 配方提供的是 UVA 基线 + 离线平衡规划器（patches/hotsplit_balance.py、scripts/balance.sh）：其中的 hot/cold 数字是规划值，而不是运行中切分的实测值。

为什么需要它

一个 384 专家的模型，其专家权重既装不进 GPU 显存、又要给 KV cache 留空间 —— 即使是四块 96 GB 的卡也不够。这些配方的做法：把热门专家（你的流量最常路由到的） 常驻显存，冷门专家按需从主机内存经 PCIe 读取。这就是专家均衡， 而且规划器是根据你自己的路由直方图计算的 —— 不是拍脑袋。

结果：大型 MoE 模型（100B+ 参数级别）跑在价格只有企业级服务器零头的工作站上， 并保持可用的解码速度。

你会得到什么

• 四个配方 —— MiMo-V2.6-Pro、DeepSeek-V4.1-Flash、GLM-5.3、GLM-5.3-Flash， 每个都带启动脚本、预检、专家均衡计算器和验证工具。
• 一个共享规划器（hotsplit_plan.py）—— 按“路由占比 / 字节数”贪心选热门集， 单元测试覆盖，四个配方间逐字节一致。
• 诚实的数字 —— 每个数字都附带它的测量方法。本硬件：PCIe 4.0 插槽 （卡是 Gen 5，平台不是）、DDR4、GDDR7 显存。这里的数字都尊重这一点。
• 安全性 —— 任何非回环绑定都必须有 API 密钥，启动前验证补丁清单，仓库中无凭据。

从这里开始

1. 快速上手 —— 从裸机到可用端点。
2. 专家均衡如何工作 —— 思想、数学、参数。
3. 模型与几何结构 —— 哪个模型配哪个热门预算。
4. 常见问题 —— GLM-5.3-Flash 阻塞项、UVA、NUMA、CUDA graph 等。

这是为谁准备的

拥有 4× RTX PRO 6000 工作站、想跑真模型而不是跑分的机主。如果你有这套硬件， 并且曾经想过 “肯定有办法用满这 384 GB” —— 就是它了。