Repository navigation
1Cat-vLLM 1.5.4:Flash-Next 1.54M KV + MTP5,27B 全系更快、KV 更多
这一版的重点是 Flash-Next:默认配置换成主机 KV + DCP=2 + MTP5 动态 EntMTP,KV 容量从 378,652 涨到 1,536,844 token(4.1 倍),8K 上下文 8 并发总吞吐从 496 涨到 810 tok/s,8 个 64K 请求、4 个 240K 请求现在都能同时放下。27B 的 MTP4 多请求每轮更省(8K 8 并发 28.4 → 24.1 ms),INT8 KV 成为默认、KV 多 25%;FP8 checkpoint 的 KV 多 77%,W8A16-FP8 checkpoint 从输出 NaN 变成可用。
这一版合并了 61 个 PR、157 个提交(其中 #1527 一次审计合并了 34 个社区 PR)。
完整测试数据:http://156.226.174.161:48152/1.5.4/(1.5.3 与 1.5.4 逐项对比、速度图表、FP8 / W8A16、agent 多轮工具调用、质量与 KLD、完整数据表)
本文全部数据都在默认时钟下测得:显存 877 MHz、功耗上限 300 W。与 1.5.3 发布数据是同一台机器、同一套工具,速度数字可以直接对比。
一眼看懂(1.5.3 → 1.5.4)
| 27B NVFP4 + DFlash2 | 27B NVFP4 + MTP4 | Flash-Next NVFP4 | |
|---|---|---|---|
| 单请求 decode(8K) | 425 → 425 tok/s | 293 → 281 tok/s | 163 → 202 tok/s |
| 8 并发总吞吐(8K) | 1,118 → 1,139 tok/s | 1,071 → 1,264 tok/s | 496 → 810 tok/s |
| 8 并发总吞吐(64K) | 790 → 784 tok/s | 787 → 916 tok/s | 1.5.3 放不下 → 979 tok/s |
| 250K 单请求每轮 | 23.2 → 23.5 ms | 19.6 → 21.2 ms | 19.7 → 16.4 ms |
| HumanEval 单请求(实测) | 545 → 541 tok/s | 370 → 367 tok/s | 276 → 337 tok/s |
| HumanEval 4 并发合计(实测) | 695 → 828 tok/s | 630 → 675 tok/s | 391 → 452 tok/s |
| KV 容量(token) | 1,308,270 → 1,634,112 | 1,598,295 → 1,991,511 | 378,652 → 1,536,844 |
| agent 8 会话合计(实测) | 未测 | 298 → 417 tok/s | 142 → 348 tok/s |
| 与 BF16 原版对比 | GSM8K、MMLU、代码持平 | 同左(同一个目标模型) | GSM8K、代码持平,MMLU 更高 |
27B 的单请求和 8 并发两行按接受率 70% 折算(与 1.5.3 发布说明相同,只比较每轮成本)。Flash-Next 1.5.4 每轮草稿数是动态的,所以这一列两个版本都用实测每轮 token 计算;1.5.3 发布说明里按 70% 折算的 224 / 584 tok/s,换成同口径实测值是 163 / 496 tok/s。250K 每轮耗时、HumanEval 和 agent 三行是实测。
Flash-Next:MTP5 + DCP2 + 动态 EntMTP
- KV 4.1 倍: 历史 KV 以 INT8 逐 token·head 放进主机内存,热区 262K;
--decode-context-parallel-size 2让两组卡各存一半历史、各算一半稀疏注意力,KV 容量 378,652 → 1,536,844 token(#1570)。8 并发 64K(979 tok/s)和 4 并发 240K(531 tok/s)现在都能跑,1.5.3 放不下。 - 每轮草稿数自动调整:
num_speculative_tokens设为 5 时,SM70 上自动开启动态 EntMTP(VLLM_1CAT_ADAPTIVE_MTP=auto),按预测熵在 2–5 个草稿之间切换:好猜的内容一次提 5 个,难猜的只提 2 个。8K 单请求温度 0.6 每轮 20.4 → 12.7 ms,总吞吐 108 → 201 tok/s。 - 长文几乎不掉速: 250K 单请求每轮 19.7 → 16.4 ms;1K 到 250K 每轮耗时只多 6.7%(1.5.3 多 19.7%)。
- 不加参数也能启动: 默认最大并发按显存自动限制,裸
vllm serve不再因 Mamba 状态块不够而失败(#1564,1.5.3 已知限制第 1 条)。 - 代价是主机内存: 启动时主机内存最低只剩 15 GiB(1.5.3 为 38 GiB),64 GB 主机余量偏小,见下文“硬件与内存要求”。
- wheel 自带的
serve_flash_next_nvfp4_v100.sh还是旧配置(MTP4、无 DCP、131K 热区),请用下文“安装与启动”里的完整命令。
27B:FP8 与 W8A16-FP8 checkpoint
FP8 与 W8A16-FP8 现在走原生 QPN8 快速路径,W8A16 不再保留重复的权重布局(TP4 每卡省 4.7 GiB,TP2 每卡省 9.4 GiB);模型加载时会保留 model.safetensors.index.json 没有列出、但和权重在同一分片里的 weight_scale 等缩放系数(#1524)。
| 配置 | KV 容量(token) | 8K 单请求每轮 | 8K 8 并发每轮 | 8K 8 并发总吞吐 | 64K 8 并发总吞吐 | GSM8K / MMLU / 代码 |
|---|---|---|---|---|---|---|
| 27B FP8 · MTP4 | 1,019,231 → 1,805,663 | 15.37 → 15.96 ms | 30.90 → 28.47 ms | 984 → 1,068 | 742 → 816 | 288 / 333 / 21 → 286 / 331 / 21 |
| 27B W8A16 · MTP4 | 1,490,699(输出 NaN) → 1,711,761 | 15.60 ms | 24.62 ms | 1,235 | 896 | 289 / 335 / 21 |
| 27B FP8 · DFlash2 | 748,049 → 1,412,800 | 16.73 → 16.80 ms | 46.69 → 47.70 ms | 1,011 → 990 | 714 | 同 MTP4(同一个目标模型) |
| 27B W8A16 · DFlash2 | 1,319,703 | 16.40 ms | 45.20 ms | 1,044 | 742 | 同 MTP4(同一个目标模型) |
| 参照:27B NVFP4 · MTP4 | 1,991,511 | 13.54 ms | 24.06 ms | 1,264 | 916 | 290 / 331 / 22 |
总吞吐两列按接受率 70% 折算(MTP4 每轮 3.8 个 token,DFlash2 每轮 5.9 个),每轮耗时是实测。
- FP8 KV 多 77%: MTP4 1,019,231 → 1,805,663 token,DFlash2 748,049 → 1,412,800 token;8K 2–8 并发每轮省 8–15%,prefill 快 5–13%。
- W8A16-FP8 可用了: 1.5.3 加载
hoborific/Qwen3.8-27B-W8A16-FP8时丢掉了 index 里没有的weight_scale,回复是一串!!!!;1.5.4 质量与 BF16 一致,多请求速度和 NVFP4 相当(8K 8 并发每轮 24.6 ms,NVFP4 24.1 ms)。 - 8 bit 权重更接近 BF16: FP8 / W8A16 与 BF16 的逐 token KLD 是 0.022 / 0.021,NVFP4 是 0.049(见“智商”)。
怎么选 27B 的配置
- 权重: 显存和单请求速度优先选 NVFP4;想要更接近 BF16 的输出选 W8A16-FP8,多请求速度与 NVFP4 相当;FP8 介于两者之间。三者质量都与 BF16 持平。
- 投机解码: 与 1.5.3 相同,DFlash2 单请求最快(需要草稿模型),MTP4 多请求和长文每轮更省:8K 8 并发 MTP4 每轮 24.1 ms,DFlash2 41.4 ms。
- KV 类型: 默认 INT8 逐 token·head,KV 多约 25%、得分与 FP8 KV 相同;以单请求为主的部署可以显式加
--kv-cache-dtype fp8_e4m3,每步省约 0.9 ms(见已知限制第 2 条)。
agent 多轮工具调用(新测试)
模拟 Claude Code 一类的多轮 agent 会话:真实执行 Read / Write / Edit / Bash / Grep 工具(沙箱里的 vLLM 源码树),混合多轮长回答对话;思考模式开启,两个版本都用官方采样(温度 1.0、top_p 0.95、top_k 20);1、4、8 个会话同时运行,每档最长 12 分钟。
| 模型 | 会话数 | 后续轮次缓存命中 | 首字 p50 / p90(s) | 单路 decode tok/s | 合计 tok/s | 工具调用 / 格式错误(两版合计) |
|---|---|---|---|---|---|---|
| 27B MTP4 | 1 | 91.7% → 97.4% | 0.57 / 1.99 → 0.21 / 0.44 | 236 → 261 | 117 → 136 | 17 / 0 |
| 27B MTP4 | 4 | 94.0% → 96.8% | 1.40 / 3.32 → 0.79 / 1.86 | 145 → 141 | 235 → 231 | 223 / 0 |
| 27B MTP4 | 8 | 94.2% → 93.5% | 1.17 / 4.57 → 0.97 / 7.40 | 75 → 103 | 298 → 417 | 268 / 0 |
| Flash-Next | 1 | 89.7% → 98.2% | 0.39 / 0.49 → 0.38 / 1.82 | 173 → 240 | 118 → 143 | 27 / 0 |
| Flash-Next | 4 | 93.6% → 96.2% | 1.66 / 2.89 → 1.08 / 2.64 | 70 → 132 | 158 → 243 | 271 / 0 |
| Flash-Next | 8 | 76.4% → 94.9% | 2.51 / 22.99 → 1.24 / 5.27 | 44 → 88 | 142 → 348 | 381 / 0 |
- Flash-Next 8 个会话差别最大: 1.5.3 只有 379K KV,8 个会话(平均 3.7 万、最长 8 万 token)同时跑时历史被挤出缓存,后续轮次命中跌到 76%,首字 p90 23 秒;1.5.4 命中 95%,合计吞吐 2.5 倍。
- 模型自己的回复也命中缓存: decode 输出按 64 token 进前缀缓存,单会话后续轮次每轮只需重算约 200–260 个 token(1.5.3 为 780–1,110 个)(#1529、#1559)。
- 27B 8 个会话: 合计吞吐高 40%、首字 p50 更低,但 p90 从 4.6 s 升到 7.4 s(见已知限制第 5 条)。
智商:27B 三种权重和 Flash-Next 都与 BF16 持平
与原版 27B BF16 在同一套题、同样的贪心解码下逐题对比(1.5.4):
| 测试 | 27B BF16 原版 | 27B NVFP4 | 27B FP8 | 27B W8A16-FP8 | Flash-Next NVFP4 |
|---|---|---|---|---|---|
| GSM8K(300 题) | 285(95.0%) | 290(96.7%) | 286(95.3%) | 289(96.3%) | 291(97.0%) |
| MMLU(400 题) | 336(84.0%) | 331(82.8%) | 331(82.8%) | 335(83.8%) | 349(87.2%) |
| 代码(MBPP + HumanEval 各 20 题) | 21(52.5%) | 22(55.0%) | 21(52.5%) | 21(52.5%) | 20(50.0%) |
| 与 BF16 逐字一致的回答 | 96/100 | 28/100 | 44/100 | 50/100 | — |
| 乱码 / 重复循环 | 0 / 0 | 0 / 0 | 0 / 0 | 0 / 0 | 0 / 0 |
- 差距都在统计误差内: NVFP4 GSM8K +1.7 个百分点(95% 置信区间 −0.3 到 +4.0)、MMLU −1.3(−3.0 到 +0.5);FP8 +0.3 / −1.3;W8A16 +1.3 / −0.3。
- INT8 KV 不降分: 同一个引擎只换 KV 类型,INT8 290 / 331 / 22,FP8 290 / 333 / 22。
- 没有劣化迹象: 所有输出中乱码和重复循环都是 0 次;27B NVFP4 与 BF16 出现分叉时,BF16 的优势中位数 0.23(logprob)。
逐 token 分布(teacher forcing,140 条语料、54.7K token,与 BF16 的 top-20 KLD):
| 模型 | 平均 KLD | Top-1 一致 | 中文 | 代码 |
|---|---|---|---|---|
| 27B NVFP4 · 1.5.3 | 0.0485 | 96.82% | 0.0758 | 0.0599 |
| 27B NVFP4 · 1.5.4 | 0.0485 | 96.82% | 0.0759 | 0.0599 |
| 27B FP8 · 1.5.3 | 0.0220 | 98.36% | 0.0344 | 0.0243 |
| 27B FP8 · 1.5.4 | 0.0219 | 98.36% | 0.0343 | 0.0243 |
| 27B W8A16-FP8 · 1.5.4 | 0.0210 | 98.44% | 0.0340 | 0.0217 |
27B NVFP4 在两个版本上逐 token 分布完全一致。
速度
测试条件:
| 项目 | 配置 |
|---|---|
| GPU | 4× V100-SXM2-32GB(NVLink),TP4 |
| 显卡状态 | 默认时钟:显存 877 MHz,核心最高 1530 MHz,功耗上限 300 W,ECC 开 |
| 主机 | 62 GB 内存,28 核 |
| 27B 模型 | Unsloth Qwen3.8-27B-NVFP4、Qwen3.8-27B-FP8、hoborific/Qwen3.8-27B-W8A16-FP8;DFlash2 每轮 7 个草稿,MTP4 每轮 4 个;INT8 KV |
| Flash-Next 模型 | Qwen3.8-Flash-Next-NVFP4 + MTP5(动态 2–5),DCP=2,INT8 KV 历史放主机内存、262K 热区 |
| 软件 | 本次发布的 wheel(main 1fa9c438bc);1.5.3 对比组用 1.5.3 wheel,同一套 Python 3.12 / torch 2.10 环境 |
| 计时口径 | 纯 decode:只统计所有请求都在 decode 的步,不含 prefill;每组冷启动后先跑一轮不计入的预热 |
1.5.4 的全部测试中没有出现服务端 traceback、显存溢出或 Xid 错误。
与 1.5.3 发布说明相同,27B 的并发和长文表把实测每轮耗时按平均接受率 70% 折算(DFlash2 每轮 5.9 个 token,MTP4 每轮 3.8 个);Flash-Next 1.5.4 每轮草稿数是动态的,两个版本都按实测每轮 token 计算。
8K 上下文(单路 / 总吞吐 tok/s,括号内为 1.5.3 总吞吐)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B DFlash2 | 0 | 425(425) | 341 / 682(681) | 256 / 1023(992) | 142 / 1139(1118) |
| 27B DFlash2 | 0.6 | 405(403) | 324 / 648(649) | 249 / 996(963) | 140 / 1121(1107) |
| 27B DFlash2 | 1 | 406(401) | 324 / 648(649) | 249 / 995(963) | 140 / 1117(1104) |
| 27B MTP4 | 0 | 281(293) | 259 / 517(499) | 220 / 881(803) | 158 / 1264(1071) |
| 27B MTP4 | 0.6 | 264(242) | 241 / 482(424) | 208 / 831(698) | 145 / 1164(962) |
| 27B MTP4 | 1 | 264(243) | 241 / 482(424) | 208 / 832(702) | 145 / 1163(976) |
| Flash-Next | 0 | 202(163) | 181 / 362(231) | 135 / 540(342) | 101 / 810(496) |
| Flash-Next | 0.6 | 201(108) | 210 / 420(237) | 152 / 606(408) | 114 / 913(516) |
| Flash-Next | 1 | 239(182) | 224 / 448(272) | 169 / 677(420) | 115 / 919(517) |
64K 上下文(单路 / 总吞吐 tok/s,括号内为 1.5.3 总吞吐)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B DFlash2 | 0 | 365(367) | 270 / 541(544) | 183 / 733(722) | 98 / 784(790) |
| 27B DFlash2 | 0.6 | 350(350) | 259 / 519(524) | 180 / 722(711) | 98 / 785(783) |
| 27B MTP4 | 0 | 252(258) | 213 / 426(429) | 162 / 647(628) | 115 / 916(787) |
| 27B MTP4 | 0.6 | 239(221) | 201 / 402(377) | 155 / 620(584) | 112 / 894(748) |
| Flash-Next | 0 | 239(157) | 210 / 421(237) | 143 / 572(367) | 122 / 979 |
| Flash-Next | 0.6 | 289(165) | 238 / 476(251) | 166 / 664(370) | 117 / 937 |
1.5.3 的 Flash-Next 放不下 8 个 64K 请求。
长文衰减(单请求,温度 0,1.5.4 每轮 ms)
| 每轮 ms | 1K | 8K | 32K | 64K | 128K | 250K | 250K 相对 1K |
|---|---|---|---|---|---|---|---|
| 27B DFlash2 | 13.5 | 13.9 | 14.8 | 16.1 | 18.7 | 23.5 | +74.4%(1.5.3 +71.6%) |
| 27B MTP4 | 13.3 | 13.5 | 14.2 | 15.1 | 16.9 | 21.2 | +59.5%(1.5.3 +55.2%) |
| Flash-Next | 15.3 | 12.5 | 12.5 | 15.7 | 15.7 | 16.4 | +6.7%(1.5.3 +19.7%) |
| 27B FP8 · MTP4 | 15.7 | 16.0 | 16.7 | 17.6 | 19.4 | 23.7 | +50.3%(1.5.3 +46.5%) |
| 27B W8A16 · MTP4 | 15.3 | 15.6 | 16.3 | 17.2 | 19.0 | 23.3 | +51.8% |
Flash-Next 1.5.4 每轮提几个草稿取决于内容,所以每轮耗时随上下文不是单调变化(1K 的合成文本更好猜、每轮草稿更多)。27B 单请求比 1.5.3 慢的原因是 INT8 KV(见已知限制第 2 条)。
每轮耗时(ms,温度 0,1.5.3 → 1.5.4)
| 场景 | 27B DFlash2 | 27B MTP4 | Flash-Next(1.5.4 为 MTP5) | 27B FP8 MTP4 |
|---|---|---|---|---|
| 8K · 1 并发 | 13.9 → 13.9 | 13.0 → 13.5 | 16.9 → 12.5 | 15.4 → 16.0 |
| 8K · 2 并发 | 17.3 → 17.3 | 15.2 → 14.7 | 25.9 → 19.4 | 20.0 → 17.3 |
| 8K · 4 并发 | 23.8 → 23.1 | 18.9 → 17.3 | 32.1 → 24.2 | 22.9 → 19.4 |
| 8K · 8 并发 | 42.2 → 41.4 | 28.4 → 24.1 | 51.9 → 32.4 | 30.9 → 28.5 |
| 64K · 1 并发 | 16.1 → 16.1 | 14.7 → 15.1 | 17.8 → 15.7 | 17.1 → 17.6 |
| 64K · 2 并发 | 21.7 → 21.8 | 17.7 → 17.9 | 27.9 → 20.0 | — |
| 64K · 4 并发 | 32.7 → 32.2 | 24.2 → 23.5 | 34.0 → 23.9 | 27.8 → 25.6 |
| 64K · 8 并发 | 59.8 → 60.2 | 38.6 → 33.2 | 放不下 → 36.0 | 41.0 → 37.3 |
六个数据集(温度 0,实测 tok/s,1.5.3 → 1.5.4)
| 数据集 | DFlash2 每轮 token | 单请求 | 4 并发合计 | MTP4 每轮 token | 单请求 | 4 并发合计 | Flash-Next 每轮 token | 单请求 | 4 并发合计 |
|---|---|---|---|---|---|---|---|---|---|
| HumanEval | 6.88 | 545 → 541 | 695 → 828 | 4.54 | 370 → 367 | 630 → 675 | 5.29 | 276 → 337 | 391 → 452 |
| MBPP | 6.67 | 486 → 492 | 473 → 639 | 4.37 | 340 → 343 | 455 → 540 | 4.86 | 261 → 305 | 359 → 458 |
| MATH500 | 6.35 | 473 → 478 | 822 → 932 | 4.29 | 336 → 339 | 704 → 788 | 4.59 | 255 → 304 | 458 → 586 |
| GSM8K | 6.42 | 464 → 463 | 756 → 859 | 4.36 | 335 → 336 | 652 → 724 | 4.76 | 251 → 311 | 445 → 547 |
| MT-Bench | 3.97 | 336 → 340 | 550 → 605 | 3.33 | 289 → 286 | 552 → 603 | 3.27 | 226 → 259 | 348 → 431 |
| 中文写作 | 2.56 | 189 → 191 | 387 → 424 | 2.85 | 224 → 227 | 499 → 552 | 2.68 | 168 → 194 | 319 → 406 |
单请求 27B 两版基本持平,Flash-Next 快 15–24%;4 并发时 prefill 与 decode 分开调度,合计高 7–35%。温度 0.6 时 1.5.4 每轮 token 普遍少 3–8%,但每轮更快,27B MTP4 和 Flash-Next 的合计仍然更高(完整数据见 HTML 报告)。
Prefill 与前缀缓存(1.5.4 首字秒数)
| 长度 | 27B NVFP4 首次 | 27B 完全命中 / 多轮追加 | 27B FP8 首次 | Flash-Next 首次 | Flash-Next 完全命中 / 多轮追加 |
|---|---|---|---|---|---|
| 1K | 0.55 | 0.28 / 0.32 | 0.60 → 0.52 | 0.50 | 0.32 / 0.32 |
| 8K | 1.81 | 0.48 / 0.54 | 2.09 → 1.83 | 1.47 | 0.41 / 0.53 |
| 32K | 8.15 | 0.52 / 0.57 | 9.00 → 8.21 | 5.82 | 0.44 / 0.49 |
| 64K | 18.19 | 0.44 / 0.63 | 19.84 → 18.34 | 12.09 | 0.55 / 0.54 |
| 128K | 43.73 | 1.02 / 1.13 | 47.11 → 44.09 | 25.76 | 0.89 / 0.96 |
| 250K | 113.08 | 1.56 / 1.71 | 119.45 → 113.53 | 59.01 | 2.88 / 4.68 |
NVFP4 两版 prefill 速度差别在 ±3% 以内,FP8 快 5–13%。多轮对话时前几轮的输入和模型自己的回复都会命中缓存,27B 即使历史有 250K token,下一轮首字也在 2 秒以内。
这一版做了什么
Qwen3.8 速度、显存与 KV
- MTP decode 逼近 V100 HBM2 / NVLink 上限: 并发验证、紧凑采样,温度 > 0 时不再主机同步(#1518、#1544)。27B 温度 0.6 与温度 0 的单请求每轮差距从 2.7 ms 缩到 0.9 ms。
- Flash-Next: 无同步采样与并发 decode(#1519、#1521);主机 KV + DCP=2、零衰减 QSA H12 / indexer、48 层 MoE zero-cat、MTP5 动态 EntMTP(#1570)。
- INT8 KV: QSA 与 Flash-V100 原生逐 token·head INT8 KV,不传
--kv-cache-dtype时默认使用(#1552)。 - TP2 / TP4 通用快速路径: FP8 与 W8A16-FP8 走原生 QPN8,W8A16 每卡省 4.7 GiB(TP4)/ 9.4 GiB(TP2),index 外的同分片缩放系数不再丢失(#1524)。
- 调度: 引擎默认把 prefill 与 decode 分开调度、部分前缀缓存、Qwen3.8 并发(#1525);NVFP4 MoE 原始 scale 与显存优化(#1544)。64K 新请求 prefill 期间,正在输出的请求能走的步数是 1.5.3 的 2.6–3 倍。
缓存命中与 API
- decode 输出进前缀缓存: 64 token 粒度、思考历史恢复、流式工具解析(#1529);27B 多轮 agent 缓存、API 体验与显存(#1559)。
- 采样预设: Qwen3.8 思考 / 非思考动态采样,放宽 SM70 / INT8 路径条件(#1557);温度 0 时不再套默认惩罚项(#1564)。
- 视觉: 图片输入默认开启且不限张数,降低多轮首字(#1562);ViT 保留 TORCH_SDPA Cutlass Tensor Core 后端(#1563)。
稳定性修复
- 结构化输出的草稿 token 跨 prefill 步保留(#1530),跨轮推理内容不再串到下一轮(#1545)。
- 混合 prefill 预热数不超过请求数 − 1(#1560);新引擎第一个温度 > 0 的请求不再慢约 3 秒(1.5.3 已知限制第 8 条)。
- 截断的 required 工具调用校验、auto 工具与 response_format 标签保留(#1566)。
- 缓存漂移时自动恢复而不是杀掉引擎(#1497),冷编译后恢复设备栈上限(#1502),上游 resample 竞争、shm 读卡顿、new_block_ids 泄漏等回移(#1408)。
社区 PR 审计合并(#1527,34 个)
- SM70 正确性: Marlin bias(#1507)、GDN 验证投影按引擎 FP8 策略执行(#1508)、grouped e4m3 FP32 路由(#1517)、MTP 编译图外的 HC prefill 上下文(#1501)、32×32 UE8M0 block-FP8 权重保持 FP8(#1021)。
- 采样与工具解析: Triton top-k/top-p 枢轴搜索(#1503)、GLM 非字符串参数流式(#1512)、已完整流出的工具参数不再补发(#1511)。
- 平台: 无 P2P 的双卡 FP16 all-reduce(#1216)、拓扑感知 all-reduce(#1245)、Gemma4 V100 支持(#1271)、EAGLE/MTP lookahead 前缀命中(#1276)、prompt logprobs 内存上限(#1225)。
- 加载与内存: 流水线阶段跳过不持有的 embedding / LM head(#1362)、GGUF expert cache 启动(#1300)、eager 引擎延迟 QPN4 scratch(#1320)、expandable segments 下跳过加载期 split scope(#1319)。
- 测试与重构: 76 个 SM70 测试文件对齐 main(#1506)等。
DeepSeek-V4.1
- PP4 批处理: 异步 micro-batch 收尾、prefill 与 IB 重叠、512K indexer 尾部(#1568);采样计数、DSpark 草稿保护、批前缀缓存、Engram 表校验(#1558)。
- 性能: 分布式 IB 对端内存 Engram、key-stationary prefill indexer、PP4 队列调优(#1567);批量 SM70 kernel、prefill 融合、零开销视觉 decode、agent 前缀缓存(#1565)。
- 图片输入走原生 PP 路径(
VLLM_V41_VISION,#1561);DSML 工具解析与 prompt 渲染回移(#1413)。 - 社区优化: packed decode index 打分分块、DSpark 耦合采样草稿与带键验证(#1372、#1375),以及默认关闭的路由专家 decode / prefill 与 index 归约 kernel(#1383–#1387、#1390)。
- 这一版没有在 16 卡 C4140 上复测 DeepSeek-V4.1。
完整的 61 个 PR 见 PR_INDEX.md。
发布前验证
- 完整测试矩阵: 27B NVFP4 / FP8 / W8A16-FP8 各配 MTP4 与 DFlash2、Flash-Next,共 7 组配置,覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文、Flash-Next 128K / 240K 并发、prefill 与前缀命中、6 个数据集;1.5.3 在同一台机器上跑对比组。
- 质量评测: 与 27B BF16 原版逐题对比 GSM8K、MMLU 和 40 道代码题;140 条语料的逐 token KLD;INT8 与 FP8 KV 同引擎对照。
- agent 场景: 27B MTP4 与 Flash-Next,1/4/8 个多轮工具调用会话,两个版本对比。
- API 边界测试: 工具调用、结构化输出、流式、logprobs、中途取消、超长输入、并发串扰、图片输入等 44–45 项;10 分钟连续压测 27B MTP4 完成 2009 个请求、中途取消 399 个、错误 0,27B DFlash2 1775 / 344 / 0,Flash-Next 1188 / 240 / 0。
- 长 prompt 干扰、新引擎首个采样请求、tools + json_object 回归、裸
vllm serve启动单独测试。 - 本次没有做: Docker 干净环境复测、双卡(TP2)、思考模式难题集、DeepSeek-V4.1 16 卡复测。
硬件与内存要求
| 27B NVFP4 · DFlash2 | 27B NVFP4 · MTP4 | Flash-Next | 27B FP8 · MTP4 | 27B W8A16 · MTP4 | |
|---|---|---|---|---|---|
| KV 容量(token) | 1,634,112 | 1,991,511 | 1,536,844 | 1,805,663 | 1,711,761 |
| 显存(启动后,每卡) | 27.0 GiB | 26.3 GiB | 29.2 GiB | 26.7 GiB | 26.5 GiB |
| 显存(全部测试后,每卡) | 30.4 GiB | 29.5 GiB | 31.1 GiB | 29.9 GiB | 29.7 GiB |
| 启动时主机内存最低剩余 | 43 GiB | 45 GiB | 15 GiB | 46 GiB | 46 GiB |
| 启动时间(有编译缓存 / 空缓存) | 126 s / 279 s | 118 s / 247 s | 385 s / 547 s | 114 s / 218 s | 114 s / 223 s |
- 主机内存: 64 GB 以上;Flash-Next 1.5.4 启动时占用约 47 GB,建议留更多余量。
- 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
- 直接安装 wheel 时,主机最好装 CUDA 12.8 工具包(含
nvcc): FlashQLA 的 GDN prefill kernel 首次使用时编译;没有nvcc时自动改用预编译 kernel,功能不受影响。 - 全部测试后显存会比刚启动时高 1–3 GiB(1.5.3 同样如此),没有出现显存溢出。
安装与启动
方式一:直接安装 wheel
python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.4+cu128-cp312-cp312-linux_x86_64.whl27B(MTP4,不需要草稿模型)。--kv-cache-dtype int8_per_token_head 就是 1.5.4 的默认值,可以省略:
vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-mtp \
--tensor-parallel-size 4 --dtype half --attention-backend FLASH_ATTN_V100 \
--kv-cache-dtype int8_per_token_head --max-model-len 262144 --gpu-memory-utilization 0.83 \
--max-num-batched-tokens 4096 --max-num-seqs 8 --mixed-prefill-step-latency-ms 0 \
--block-size 2048 --mamba-block-size 2048 --enable-prefix-caching --mamba-cache-mode align \
--partial-prefix-cache --prefix-cache-retention-interval 8192 --enable-prompt-tokens-details \
--limit-mm-per-prompt '{"video": 0, "audio": 0}' --enable-auto-tool-choice \
--tool-call-parser qwen3_coder --reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking":false}' --seed 0 --trust-remote-code \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 4}'27B(DFlash2):在上面的命令里把 --served-model-name 换掉,--speculative-config 换成:
--speculative-config '{"method": "dflash", "model": "/models/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7, "kv_cache_dtype": "auto", "attention_backend": "FLASH_ATTN_V100", "draft_sample_method": "probabilistic", "enforce_eager": false}'FP8 与 W8A16-FP8:把模型路径换成 /models/Qwen3.8-27B-FP8 或 /models/Qwen3.8-27B-W8A16-FP8,其余参数完全相同(MTP4 与 DFlash2 都适用)。
需要思考模式时把 enable_thinking 改成 true;本文速度数据都在非思考模式下测得,agent 测试为思考模式。
也可以用 wheel 自带的 27B 启动脚本:
serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 8000Flash-Next(MTP5 + DCP2 + 动态 EntMTP,即本文测试用的配置):
vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
--tensor-parallel-size 4 --decode-context-parallel-size 2 --dtype half --max-model-len 262144 \
--max-num-batched-tokens 4096 --max-num-seqs 8 --attention-backend FLASH_ATTN_V100 \
--enable-prefix-caching --partial-prefix-cache --block-size 2048 --mamba-block-size 2048 \
--mixed-prefill-step-latency-ms 0 --enable-prompt-tokens-details --enable-auto-tool-choice \
--tool-call-parser qwen3_coder --reasoning-parser qwen3 --trust-remote-code --seed 0 \
--kv-cache-dtype float16 --gpu-memory-utilization 0.89 --mamba-cache-mode align \
--limit-mm-per-prompt '{"video": 0, "audio": 0}' --mamba-ssm-cache-dtype float32 \
--default-chat-template-kwargs '{"enable_thinking":false}' \
--kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "hc_weight_storage": "sharded", "qsa_host_kv": true, "qsa_host_kv_dtype": "int8_per_token_head", "qsa_host_kv_draft_dtype": "int8_per_token_head", "qsa_host_kv_hot_dtype": "int8_per_token_head", "qsa_host_kv_hot_tokens": 262144, "qsa_host_kv_prefill_stage_tokens": 262144, "qsa_host_kv_trim_warmup_cache": true, "qsa_host_kv_state_blocks": 176, "qsa_host_kv_history_blocks": 768}' \
--speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 5, "draft_sample_method": "greedy"}'wheel 自带的 serve_flash_next_nvfp4_v100.sh 还是 MTP4、无 DCP、131K 热区的旧配置,KV 和速度都达不到本文数字,请直接用上面的命令。
方式二:1Cat Studio
在 Studio 中安装 1.5.4 运行时即可。
1.5.4 的 Docker 构建包稍后单独发布;在此之前请继续使用 1.5.3 镜像或直接安装 wheel。
已知限制
- 27B 同时给 tools 与
response_format: json_object时会误调工具: 问题本身不需要工具时,温度 0 下 1.5.3 0/10、1.5.4 10/10 调用了工具,服务默认采样下 2/10 → 4/10;需要工具时两版都正确。Flash-Next 不受影响。在修复前,需要纯 JSON 输出的请求请不要同时传 tools。 - INT8 KV 单请求每步多约 0.9 ms: 并发 2 及以上与 FP8 KV 完全一致;单请求每步多约 0.9 ms(250K 多约 2.3 ms),所以 27B 单请求温度 0 比 1.5.3 慢 2–8%。以单请求为主的部署可加
--kv-cache-dtype fp8_e4m3,此时比 1.5.3 快 2–4%。 - wheel 自带的 Flash-Next 启动脚本仍是旧配置:
serve_flash_next_nvfp4_v100.sh为 MTP4、无 DCP、131K 热区;请用上文的完整命令。 - Flash-Next 250K 历史的多轮追问首字仍然偏慢: 完全命中 2.9 s、多轮追加 4.7 s,与 1.5.3 相同;128K 及以下在 1 秒以内。
- 长 prompt 进来时,正在输出的请求仍会变慢: prefill 与 decode 已经分开调度,64K prefill 期间正在输出的请求多走 2.6–3 倍步数,但总共仍被拖慢约 21 s(27B),最长单步约 0.76 s;Flash-Next 约 7 s。27B 8 个 agent 会话时首字 p90 为 7.4 s(1.5.3 为 4.6 s)。
- Flash-Next 主机内存占用变大: 启动时主机内存最低剩余 15 GiB(1.5.3 为 38 GiB)。
- Flash-Next 超长上下文并发偶有长步: 240K × 2 并发时纯 decode 步 p99 为 4.2 s(中位 20.8 ms)。
- W8A16-FP8 强制调用无参数工具时
arguments不是合法 JSON(NVFP4 与 FP8 正常)。 - 最大并发为 8: 这是 256K 配置下的发布默认值,更高并发需要缩短上下文。
1.5.3 已知限制的处理情况: 第 1 条(Flash-Next 裸 vllm serve 启动失败)已修复;第 3 条(MTP 温度 > 0 更慢)改善,27B 差距 2.7 → 0.9 ms;第 4 条(27B DFlash2 KV 少 8.8%)已修复,1,308,270 → 1,634,112;第 5 条(Flash-Next 短对话缓存粒度 2048)由 64 token 的 decode 输出缓存覆盖;第 7 条(长 prompt 干扰)改善但未消除;第 8 条(首个采样请求慢约 3 秒)已修复,27B DFlash2 前三个请求 4.46 / 1.53 / 1.60 → 1.72 / 1.74 / 1.48 s;第 2 条(Flash-Next 250K 追问首字)未改善。
回滚
- wheel: 重新安装 1.5.3 wheel(SHA256
0558021651c41ab111609d121cef029c09224de4b6e6f8fd362754dfdd84990f)。 - Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.3 运行时即可。
- Docker: 1.5.4 Docker 包发布后,保留旧镜像标签即可切回;新旧版本请使用不同的编译缓存卷。
文件与校验
| 文件 | SHA256 |
|---|---|
1cat_vllm-1.5.4+cu128-cp312-cp312-linux_x86_64.whl |
8f1e4d543764bc749eb95906651efffe0595e20a2ab57624b541542d452ddef1 |
wheel 构建自 main 1fa9c438bc。
贡献者
感谢本版本的 13 位贡献者,以及所有提交问题和测试反馈的用户:
| 贡献者 | 合并的 PR |
|---|---|
| yangzhuxinyzx | 24 |
| Peuqui | 17 |
| ProprietaryLegal | 9 |
| andrewleech | 2 |
| ChainZeaxion | 1 |
| elight | 1 |
| kezboard233 | 1 |
| Leonccaa | 1 |
| Mermiges | 1 |
| TCat2003 | 1 |
| Th-Underscore | 1 |
| That80-20 | 1 |
| trademark789 | 1 |