Skip to content

1Cat-vLLM 1.5.4

Latest

Choose a tag to compare

@yangzhuxinyzx yangzhuxinyzx released this 20 Nov 04:51
1fa9c43

1Cat-vLLM 1.5.4:Flash-Next 1.54M KV + MTP5,27B 全系更快、KV 更多

这一版的重点是 Flash-Next:默认配置换成主机 KV + DCP=2 + MTP5 动态 EntMTP,KV 容量从 378,652 涨到 1,536,844 token(4.1 倍),8K 上下文 8 并发总吞吐从 496 涨到 810 tok/s,8 个 64K 请求、4 个 240K 请求现在都能同时放下。27B 的 MTP4 多请求每轮更省(8K 8 并发 28.4 → 24.1 ms),INT8 KV 成为默认、KV 多 25%;FP8 checkpoint 的 KV 多 77%,W8A16-FP8 checkpoint 从输出 NaN 变成可用。

这一版合并了 61 个 PR、157 个提交(其中 #1527 一次审计合并了 34 个社区 PR)。

完整测试数据:http://156.226.174.161:48152/1.5.4/(1.5.3 与 1.5.4 逐项对比、速度图表、FP8 / W8A16、agent 多轮工具调用、质量与 KLD、完整数据表)

本文全部数据都在默认时钟下测得:显存 877 MHz、功耗上限 300 W。与 1.5.3 发布数据是同一台机器、同一套工具,速度数字可以直接对比。

一眼看懂(1.5.3 → 1.5.4)

27B NVFP4 + DFlash2 27B NVFP4 + MTP4 Flash-Next NVFP4
单请求 decode(8K) 425 → 425 tok/s 293 → 281 tok/s 163 → 202 tok/s
8 并发总吞吐(8K) 1,118 → 1,139 tok/s 1,071 → 1,264 tok/s 496 → 810 tok/s
8 并发总吞吐(64K) 790 → 784 tok/s 787 → 916 tok/s 1.5.3 放不下 → 979 tok/s
250K 单请求每轮 23.2 → 23.5 ms 19.6 → 21.2 ms 19.7 → 16.4 ms
HumanEval 单请求(实测) 545 → 541 tok/s 370 → 367 tok/s 276 → 337 tok/s
HumanEval 4 并发合计(实测) 695 → 828 tok/s 630 → 675 tok/s 391 → 452 tok/s
KV 容量(token) 1,308,270 → 1,634,112 1,598,295 → 1,991,511 378,652 → 1,536,844
agent 8 会话合计(实测) 未测 298 → 417 tok/s 142 → 348 tok/s
与 BF16 原版对比 GSM8K、MMLU、代码持平 同左(同一个目标模型) GSM8K、代码持平,MMLU 更高

27B 的单请求和 8 并发两行按接受率 70% 折算(与 1.5.3 发布说明相同,只比较每轮成本)。Flash-Next 1.5.4 每轮草稿数是动态的,所以这一列两个版本都用实测每轮 token 计算;1.5.3 发布说明里按 70% 折算的 224 / 584 tok/s,换成同口径实测值是 163 / 496 tok/s。250K 每轮耗时、HumanEval 和 agent 三行是实测。

Flash-Next:MTP5 + DCP2 + 动态 EntMTP

  • KV 4.1 倍: 历史 KV 以 INT8 逐 token·head 放进主机内存,热区 262K;--decode-context-parallel-size 2 让两组卡各存一半历史、各算一半稀疏注意力,KV 容量 378,652 → 1,536,844 token(#1570)。8 并发 64K(979 tok/s)和 4 并发 240K(531 tok/s)现在都能跑,1.5.3 放不下。
  • 每轮草稿数自动调整: num_speculative_tokens 设为 5 时,SM70 上自动开启动态 EntMTP(VLLM_1CAT_ADAPTIVE_MTP=auto),按预测熵在 2–5 个草稿之间切换:好猜的内容一次提 5 个,难猜的只提 2 个。8K 单请求温度 0.6 每轮 20.4 → 12.7 ms,总吞吐 108 → 201 tok/s。
  • 长文几乎不掉速: 250K 单请求每轮 19.7 → 16.4 ms;1K 到 250K 每轮耗时只多 6.7%(1.5.3 多 19.7%)。
  • 不加参数也能启动: 默认最大并发按显存自动限制,裸 vllm serve 不再因 Mamba 状态块不够而失败(#1564,1.5.3 已知限制第 1 条)。
  • 代价是主机内存: 启动时主机内存最低只剩 15 GiB(1.5.3 为 38 GiB),64 GB 主机余量偏小,见下文“硬件与内存要求”。
  • wheel 自带的 serve_flash_next_nvfp4_v100.sh 还是旧配置(MTP4、无 DCP、131K 热区),请用下文“安装与启动”里的完整命令。

27B:FP8 与 W8A16-FP8 checkpoint

FP8 与 W8A16-FP8 现在走原生 QPN8 快速路径,W8A16 不再保留重复的权重布局(TP4 每卡省 4.7 GiB,TP2 每卡省 9.4 GiB);模型加载时会保留 model.safetensors.index.json 没有列出、但和权重在同一分片里的 weight_scale 等缩放系数(#1524)。

配置 KV 容量(token) 8K 单请求每轮 8K 8 并发每轮 8K 8 并发总吞吐 64K 8 并发总吞吐 GSM8K / MMLU / 代码
27B FP8 · MTP4 1,019,231 → 1,805,663 15.37 → 15.96 ms 30.90 → 28.47 ms 984 → 1,068 742 → 816 288 / 333 / 21 → 286 / 331 / 21
27B W8A16 · MTP4 1,490,699(输出 NaN) → 1,711,761 15.60 ms 24.62 ms 1,235 896 289 / 335 / 21
27B FP8 · DFlash2 748,049 → 1,412,800 16.73 → 16.80 ms 46.69 → 47.70 ms 1,011 → 990 714 同 MTP4(同一个目标模型)
27B W8A16 · DFlash2 1,319,703 16.40 ms 45.20 ms 1,044 742 同 MTP4(同一个目标模型)
参照:27B NVFP4 · MTP4 1,991,511 13.54 ms 24.06 ms 1,264 916 290 / 331 / 22

总吞吐两列按接受率 70% 折算(MTP4 每轮 3.8 个 token,DFlash2 每轮 5.9 个),每轮耗时是实测。

  • FP8 KV 多 77%: MTP4 1,019,231 → 1,805,663 token,DFlash2 748,049 → 1,412,800 token;8K 2–8 并发每轮省 8–15%,prefill 快 5–13%。
  • W8A16-FP8 可用了: 1.5.3 加载 hoborific/Qwen3.8-27B-W8A16-FP8 时丢掉了 index 里没有的 weight_scale,回复是一串 !!!!;1.5.4 质量与 BF16 一致,多请求速度和 NVFP4 相当(8K 8 并发每轮 24.6 ms,NVFP4 24.1 ms)。
  • 8 bit 权重更接近 BF16: FP8 / W8A16 与 BF16 的逐 token KLD 是 0.022 / 0.021,NVFP4 是 0.049(见“智商”)。

怎么选 27B 的配置

  • 权重: 显存和单请求速度优先选 NVFP4;想要更接近 BF16 的输出选 W8A16-FP8,多请求速度与 NVFP4 相当;FP8 介于两者之间。三者质量都与 BF16 持平。
  • 投机解码: 与 1.5.3 相同,DFlash2 单请求最快(需要草稿模型),MTP4 多请求和长文每轮更省:8K 8 并发 MTP4 每轮 24.1 ms,DFlash2 41.4 ms。
  • KV 类型: 默认 INT8 逐 token·head,KV 多约 25%、得分与 FP8 KV 相同;以单请求为主的部署可以显式加 --kv-cache-dtype fp8_e4m3,每步省约 0.9 ms(见已知限制第 2 条)。

agent 多轮工具调用(新测试)

模拟 Claude Code 一类的多轮 agent 会话:真实执行 Read / Write / Edit / Bash / Grep 工具(沙箱里的 vLLM 源码树),混合多轮长回答对话;思考模式开启,两个版本都用官方采样(温度 1.0、top_p 0.95、top_k 20);1、4、8 个会话同时运行,每档最长 12 分钟。

模型 会话数 后续轮次缓存命中 首字 p50 / p90(s) 单路 decode tok/s 合计 tok/s 工具调用 / 格式错误(两版合计)
27B MTP4 1 91.7% → 97.4% 0.57 / 1.99 → 0.21 / 0.44 236 → 261 117 → 136 17 / 0
27B MTP4 4 94.0% → 96.8% 1.40 / 3.32 → 0.79 / 1.86 145 → 141 235 → 231 223 / 0
27B MTP4 8 94.2% → 93.5% 1.17 / 4.57 → 0.97 / 7.40 75 → 103 298 → 417 268 / 0
Flash-Next 1 89.7% → 98.2% 0.39 / 0.49 → 0.38 / 1.82 173 → 240 118 → 143 27 / 0
Flash-Next 4 93.6% → 96.2% 1.66 / 2.89 → 1.08 / 2.64 70 → 132 158 → 243 271 / 0
Flash-Next 8 76.4% → 94.9% 2.51 / 22.99 → 1.24 / 5.27 44 → 88 142 → 348 381 / 0
  • Flash-Next 8 个会话差别最大: 1.5.3 只有 379K KV,8 个会话(平均 3.7 万、最长 8 万 token)同时跑时历史被挤出缓存,后续轮次命中跌到 76%,首字 p90 23 秒;1.5.4 命中 95%,合计吞吐 2.5 倍。
  • 模型自己的回复也命中缓存: decode 输出按 64 token 进前缀缓存,单会话后续轮次每轮只需重算约 200–260 个 token(1.5.3 为 780–1,110 个)(#1529、#1559)。
  • 27B 8 个会话: 合计吞吐高 40%、首字 p50 更低,但 p90 从 4.6 s 升到 7.4 s(见已知限制第 5 条)。

智商:27B 三种权重和 Flash-Next 都与 BF16 持平

与原版 27B BF16 在同一套题、同样的贪心解码下逐题对比(1.5.4):

测试 27B BF16 原版 27B NVFP4 27B FP8 27B W8A16-FP8 Flash-Next NVFP4
GSM8K(300 题) 285(95.0%) 290(96.7%) 286(95.3%) 289(96.3%) 291(97.0%)
MMLU(400 题) 336(84.0%) 331(82.8%) 331(82.8%) 335(83.8%) 349(87.2%)
代码(MBPP + HumanEval 各 20 题) 21(52.5%) 22(55.0%) 21(52.5%) 21(52.5%) 20(50.0%)
与 BF16 逐字一致的回答 96/100 28/100 44/100 50/100 —
乱码 / 重复循环 0 / 0 0 / 0 0 / 0 0 / 0 0 / 0
  • 差距都在统计误差内: NVFP4 GSM8K +1.7 个百分点(95% 置信区间 −0.3 到 +4.0)、MMLU −1.3(−3.0 到 +0.5);FP8 +0.3 / −1.3;W8A16 +1.3 / −0.3。
  • INT8 KV 不降分: 同一个引擎只换 KV 类型,INT8 290 / 331 / 22,FP8 290 / 333 / 22。
  • 没有劣化迹象: 所有输出中乱码和重复循环都是 0 次;27B NVFP4 与 BF16 出现分叉时,BF16 的优势中位数 0.23(logprob)。

逐 token 分布(teacher forcing,140 条语料、54.7K token,与 BF16 的 top-20 KLD):

模型 平均 KLD Top-1 一致 中文 代码
27B NVFP4 · 1.5.3 0.0485 96.82% 0.0758 0.0599
27B NVFP4 · 1.5.4 0.0485 96.82% 0.0759 0.0599
27B FP8 · 1.5.3 0.0220 98.36% 0.0344 0.0243
27B FP8 · 1.5.4 0.0219 98.36% 0.0343 0.0243
27B W8A16-FP8 · 1.5.4 0.0210 98.44% 0.0340 0.0217

27B NVFP4 在两个版本上逐 token 分布完全一致。

速度

测试条件:

项目 配置
GPU 4× V100-SXM2-32GB(NVLink),TP4
显卡状态 默认时钟:显存 877 MHz,核心最高 1530 MHz,功耗上限 300 W,ECC 开
主机 62 GB 内存,28 核
27B 模型 Unsloth Qwen3.8-27B-NVFP4、Qwen3.8-27B-FP8、hoborific/Qwen3.8-27B-W8A16-FP8;DFlash2 每轮 7 个草稿,MTP4 每轮 4 个;INT8 KV
Flash-Next 模型 Qwen3.8-Flash-Next-NVFP4 + MTP5(动态 2–5),DCP=2,INT8 KV 历史放主机内存、262K 热区
软件 本次发布的 wheel(main 1fa9c438bc);1.5.3 对比组用 1.5.3 wheel,同一套 Python 3.12 / torch 2.10 环境
计时口径 纯 decode:只统计所有请求都在 decode 的步,不含 prefill;每组冷启动后先跑一轮不计入的预热

1.5.4 的全部测试中没有出现服务端 traceback、显存溢出或 Xid 错误。

与 1.5.3 发布说明相同,27B 的并发和长文表把实测每轮耗时按平均接受率 70% 折算(DFlash2 每轮 5.9 个 token,MTP4 每轮 3.8 个);Flash-Next 1.5.4 每轮草稿数是动态的,两个版本都按实测每轮 token 计算。

8K 上下文(单路 / 总吞吐 tok/s,括号内为 1.5.3 总吞吐)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B DFlash2 0 425(425) 341 / 682(681) 256 / 1023(992) 142 / 1139(1118)
27B DFlash2 0.6 405(403) 324 / 648(649) 249 / 996(963) 140 / 1121(1107)
27B DFlash2 1 406(401) 324 / 648(649) 249 / 995(963) 140 / 1117(1104)
27B MTP4 0 281(293) 259 / 517(499) 220 / 881(803) 158 / 1264(1071)
27B MTP4 0.6 264(242) 241 / 482(424) 208 / 831(698) 145 / 1164(962)
27B MTP4 1 264(243) 241 / 482(424) 208 / 832(702) 145 / 1163(976)
Flash-Next 0 202(163) 181 / 362(231) 135 / 540(342) 101 / 810(496)
Flash-Next 0.6 201(108) 210 / 420(237) 152 / 606(408) 114 / 913(516)
Flash-Next 1 239(182) 224 / 448(272) 169 / 677(420) 115 / 919(517)

64K 上下文(单路 / 总吞吐 tok/s,括号内为 1.5.3 总吞吐)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B DFlash2 0 365(367) 270 / 541(544) 183 / 733(722) 98 / 784(790)
27B DFlash2 0.6 350(350) 259 / 519(524) 180 / 722(711) 98 / 785(783)
27B MTP4 0 252(258) 213 / 426(429) 162 / 647(628) 115 / 916(787)
27B MTP4 0.6 239(221) 201 / 402(377) 155 / 620(584) 112 / 894(748)
Flash-Next 0 239(157) 210 / 421(237) 143 / 572(367) 122 / 979
Flash-Next 0.6 289(165) 238 / 476(251) 166 / 664(370) 117 / 937

1.5.3 的 Flash-Next 放不下 8 个 64K 请求。

长文衰减(单请求,温度 0,1.5.4 每轮 ms)

每轮 ms 1K 8K 32K 64K 128K 250K 250K 相对 1K
27B DFlash2 13.5 13.9 14.8 16.1 18.7 23.5 +74.4%(1.5.3 +71.6%)
27B MTP4 13.3 13.5 14.2 15.1 16.9 21.2 +59.5%(1.5.3 +55.2%)
Flash-Next 15.3 12.5 12.5 15.7 15.7 16.4 +6.7%(1.5.3 +19.7%)
27B FP8 · MTP4 15.7 16.0 16.7 17.6 19.4 23.7 +50.3%(1.5.3 +46.5%)
27B W8A16 · MTP4 15.3 15.6 16.3 17.2 19.0 23.3 +51.8%

Flash-Next 1.5.4 每轮提几个草稿取决于内容,所以每轮耗时随上下文不是单调变化(1K 的合成文本更好猜、每轮草稿更多)。27B 单请求比 1.5.3 慢的原因是 INT8 KV(见已知限制第 2 条)。

每轮耗时(ms,温度 0,1.5.3 → 1.5.4)

场景 27B DFlash2 27B MTP4 Flash-Next(1.5.4 为 MTP5) 27B FP8 MTP4
8K · 1 并发 13.9 → 13.9 13.0 → 13.5 16.9 → 12.5 15.4 → 16.0
8K · 2 并发 17.3 → 17.3 15.2 → 14.7 25.9 → 19.4 20.0 → 17.3
8K · 4 并发 23.8 → 23.1 18.9 → 17.3 32.1 → 24.2 22.9 → 19.4
8K · 8 并发 42.2 → 41.4 28.4 → 24.1 51.9 → 32.4 30.9 → 28.5
64K · 1 并发 16.1 → 16.1 14.7 → 15.1 17.8 → 15.7 17.1 → 17.6
64K · 2 并发 21.7 → 21.8 17.7 → 17.9 27.9 → 20.0 —
64K · 4 并发 32.7 → 32.2 24.2 → 23.5 34.0 → 23.9 27.8 → 25.6
64K · 8 并发 59.8 → 60.2 38.6 → 33.2 放不下 → 36.0 41.0 → 37.3

六个数据集(温度 0,实测 tok/s,1.5.3 → 1.5.4)

数据集 DFlash2 每轮 token 单请求 4 并发合计 MTP4 每轮 token 单请求 4 并发合计 Flash-Next 每轮 token 单请求 4 并发合计
HumanEval 6.88 545 → 541 695 → 828 4.54 370 → 367 630 → 675 5.29 276 → 337 391 → 452
MBPP 6.67 486 → 492 473 → 639 4.37 340 → 343 455 → 540 4.86 261 → 305 359 → 458
MATH500 6.35 473 → 478 822 → 932 4.29 336 → 339 704 → 788 4.59 255 → 304 458 → 586
GSM8K 6.42 464 → 463 756 → 859 4.36 335 → 336 652 → 724 4.76 251 → 311 445 → 547
MT-Bench 3.97 336 → 340 550 → 605 3.33 289 → 286 552 → 603 3.27 226 → 259 348 → 431
中文写作 2.56 189 → 191 387 → 424 2.85 224 → 227 499 → 552 2.68 168 → 194 319 → 406

单请求 27B 两版基本持平,Flash-Next 快 15–24%;4 并发时 prefill 与 decode 分开调度,合计高 7–35%。温度 0.6 时 1.5.4 每轮 token 普遍少 3–8%,但每轮更快,27B MTP4 和 Flash-Next 的合计仍然更高(完整数据见 HTML 报告)。

Prefill 与前缀缓存(1.5.4 首字秒数)

长度 27B NVFP4 首次 27B 完全命中 / 多轮追加 27B FP8 首次 Flash-Next 首次 Flash-Next 完全命中 / 多轮追加
1K 0.55 0.28 / 0.32 0.60 → 0.52 0.50 0.32 / 0.32
8K 1.81 0.48 / 0.54 2.09 → 1.83 1.47 0.41 / 0.53
32K 8.15 0.52 / 0.57 9.00 → 8.21 5.82 0.44 / 0.49
64K 18.19 0.44 / 0.63 19.84 → 18.34 12.09 0.55 / 0.54
128K 43.73 1.02 / 1.13 47.11 → 44.09 25.76 0.89 / 0.96
250K 113.08 1.56 / 1.71 119.45 → 113.53 59.01 2.88 / 4.68

NVFP4 两版 prefill 速度差别在 ±3% 以内,FP8 快 5–13%。多轮对话时前几轮的输入和模型自己的回复都会命中缓存,27B 即使历史有 250K token,下一轮首字也在 2 秒以内。

这一版做了什么

Qwen3.8 速度、显存与 KV

  • MTP decode 逼近 V100 HBM2 / NVLink 上限: 并发验证、紧凑采样,温度 > 0 时不再主机同步(#1518、#1544)。27B 温度 0.6 与温度 0 的单请求每轮差距从 2.7 ms 缩到 0.9 ms。
  • Flash-Next: 无同步采样与并发 decode(#1519、#1521);主机 KV + DCP=2、零衰减 QSA H12 / indexer、48 层 MoE zero-cat、MTP5 动态 EntMTP(#1570)。
  • INT8 KV: QSA 与 Flash-V100 原生逐 token·head INT8 KV,不传 --kv-cache-dtype 时默认使用(#1552)。
  • TP2 / TP4 通用快速路径: FP8 与 W8A16-FP8 走原生 QPN8,W8A16 每卡省 4.7 GiB(TP4)/ 9.4 GiB(TP2),index 外的同分片缩放系数不再丢失(#1524)。
  • 调度: 引擎默认把 prefill 与 decode 分开调度、部分前缀缓存、Qwen3.8 并发(#1525);NVFP4 MoE 原始 scale 与显存优化(#1544)。64K 新请求 prefill 期间,正在输出的请求能走的步数是 1.5.3 的 2.6–3 倍。

缓存命中与 API

  • decode 输出进前缀缓存: 64 token 粒度、思考历史恢复、流式工具解析(#1529);27B 多轮 agent 缓存、API 体验与显存(#1559)。
  • 采样预设: Qwen3.8 思考 / 非思考动态采样,放宽 SM70 / INT8 路径条件(#1557);温度 0 时不再套默认惩罚项(#1564)。
  • 视觉: 图片输入默认开启且不限张数,降低多轮首字(#1562);ViT 保留 TORCH_SDPA Cutlass Tensor Core 后端(#1563)。

稳定性修复

  • 结构化输出的草稿 token 跨 prefill 步保留(#1530),跨轮推理内容不再串到下一轮(#1545)。
  • 混合 prefill 预热数不超过请求数 − 1(#1560);新引擎第一个温度 > 0 的请求不再慢约 3 秒(1.5.3 已知限制第 8 条)。
  • 截断的 required 工具调用校验、auto 工具与 response_format 标签保留(#1566)。
  • 缓存漂移时自动恢复而不是杀掉引擎(#1497),冷编译后恢复设备栈上限(#1502),上游 resample 竞争、shm 读卡顿、new_block_ids 泄漏等回移(#1408)。

社区 PR 审计合并(#1527,34 个)

  • SM70 正确性: Marlin bias(#1507)、GDN 验证投影按引擎 FP8 策略执行(#1508)、grouped e4m3 FP32 路由(#1517)、MTP 编译图外的 HC prefill 上下文(#1501)、32×32 UE8M0 block-FP8 权重保持 FP8(#1021)。
  • 采样与工具解析: Triton top-k/top-p 枢轴搜索(#1503)、GLM 非字符串参数流式(#1512)、已完整流出的工具参数不再补发(#1511)。
  • 平台: 无 P2P 的双卡 FP16 all-reduce(#1216)、拓扑感知 all-reduce(#1245)、Gemma4 V100 支持(#1271)、EAGLE/MTP lookahead 前缀命中(#1276)、prompt logprobs 内存上限(#1225)。
  • 加载与内存: 流水线阶段跳过不持有的 embedding / LM head(#1362)、GGUF expert cache 启动(#1300)、eager 引擎延迟 QPN4 scratch(#1320)、expandable segments 下跳过加载期 split scope(#1319)。
  • 测试与重构: 76 个 SM70 测试文件对齐 main(#1506)等。

DeepSeek-V4.1

  • PP4 批处理: 异步 micro-batch 收尾、prefill 与 IB 重叠、512K indexer 尾部(#1568);采样计数、DSpark 草稿保护、批前缀缓存、Engram 表校验(#1558)。
  • 性能: 分布式 IB 对端内存 Engram、key-stationary prefill indexer、PP4 队列调优(#1567);批量 SM70 kernel、prefill 融合、零开销视觉 decode、agent 前缀缓存(#1565)。
  • 图片输入走原生 PP 路径(VLLM_V41_VISION,#1561);DSML 工具解析与 prompt 渲染回移(#1413)。
  • 社区优化: packed decode index 打分分块、DSpark 耦合采样草稿与带键验证(#1372、#1375),以及默认关闭的路由专家 decode / prefill 与 index 归约 kernel(#1383–#1387、#1390)。
  • 这一版没有在 16 卡 C4140 上复测 DeepSeek-V4.1。

完整的 61 个 PR 见 PR_INDEX.md。

发布前验证

  • 完整测试矩阵: 27B NVFP4 / FP8 / W8A16-FP8 各配 MTP4 与 DFlash2、Flash-Next,共 7 组配置,覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文、Flash-Next 128K / 240K 并发、prefill 与前缀命中、6 个数据集;1.5.3 在同一台机器上跑对比组。
  • 质量评测: 与 27B BF16 原版逐题对比 GSM8K、MMLU 和 40 道代码题;140 条语料的逐 token KLD;INT8 与 FP8 KV 同引擎对照。
  • agent 场景: 27B MTP4 与 Flash-Next,1/4/8 个多轮工具调用会话,两个版本对比。
  • API 边界测试: 工具调用、结构化输出、流式、logprobs、中途取消、超长输入、并发串扰、图片输入等 44–45 项;10 分钟连续压测 27B MTP4 完成 2009 个请求、中途取消 399 个、错误 0,27B DFlash2 1775 / 344 / 0,Flash-Next 1188 / 240 / 0。
  • 长 prompt 干扰、新引擎首个采样请求、tools + json_object 回归、裸 vllm serve 启动单独测试。
  • 本次没有做: Docker 干净环境复测、双卡(TP2)、思考模式难题集、DeepSeek-V4.1 16 卡复测。

硬件与内存要求

27B NVFP4 · DFlash2 27B NVFP4 · MTP4 Flash-Next 27B FP8 · MTP4 27B W8A16 · MTP4
KV 容量(token) 1,634,112 1,991,511 1,536,844 1,805,663 1,711,761
显存(启动后,每卡) 27.0 GiB 26.3 GiB 29.2 GiB 26.7 GiB 26.5 GiB
显存(全部测试后,每卡) 30.4 GiB 29.5 GiB 31.1 GiB 29.9 GiB 29.7 GiB
启动时主机内存最低剩余 43 GiB 45 GiB 15 GiB 46 GiB 46 GiB
启动时间(有编译缓存 / 空缓存) 126 s / 279 s 118 s / 247 s 385 s / 547 s 114 s / 218 s 114 s / 223 s
  • 主机内存: 64 GB 以上;Flash-Next 1.5.4 启动时占用约 47 GB,建议留更多余量。
  • 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
  • 直接安装 wheel 时,主机最好装 CUDA 12.8 工具包(含 nvcc): FlashQLA 的 GDN prefill kernel 首次使用时编译;没有 nvcc 时自动改用预编译 kernel,功能不受影响。
  • 全部测试后显存会比刚启动时高 1–3 GiB(1.5.3 同样如此),没有出现显存溢出。

安装与启动

方式一:直接安装 wheel

python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.4+cu128-cp312-cp312-linux_x86_64.whl

27B(MTP4,不需要草稿模型)。--kv-cache-dtype int8_per_token_head 就是 1.5.4 的默认值,可以省略:

vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-mtp \
  --tensor-parallel-size 4 --dtype half --attention-backend FLASH_ATTN_V100 \
  --kv-cache-dtype int8_per_token_head --max-model-len 262144 --gpu-memory-utilization 0.83 \
  --max-num-batched-tokens 4096 --max-num-seqs 8 --mixed-prefill-step-latency-ms 0 \
  --block-size 2048 --mamba-block-size 2048 --enable-prefix-caching --mamba-cache-mode align \
  --partial-prefix-cache --prefix-cache-retention-interval 8192 --enable-prompt-tokens-details \
  --limit-mm-per-prompt '{"video": 0, "audio": 0}' --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
  --default-chat-template-kwargs '{"enable_thinking":false}' --seed 0 --trust-remote-code \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}'

27B(DFlash2):在上面的命令里把 --served-model-name 换掉,--speculative-config 换成:

  --speculative-config '{"method": "dflash", "model": "/models/Qwen3.8-27B-DFlash2", "num_speculative_tokens": 7, "kv_cache_dtype": "auto", "attention_backend": "FLASH_ATTN_V100", "draft_sample_method": "probabilistic", "enforce_eager": false}'

FP8 与 W8A16-FP8:把模型路径换成 /models/Qwen3.8-27B-FP8 或 /models/Qwen3.8-27B-W8A16-FP8,其余参数完全相同(MTP4 与 DFlash2 都适用)。

需要思考模式时把 enable_thinking 改成 true;本文速度数据都在非思考模式下测得,agent 测试为思考模式。

也可以用 wheel 自带的 27B 启动脚本:

serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 8000

Flash-Next(MTP5 + DCP2 + 动态 EntMTP,即本文测试用的配置):

vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
  --tensor-parallel-size 4 --decode-context-parallel-size 2 --dtype half --max-model-len 262144 \
  --max-num-batched-tokens 4096 --max-num-seqs 8 --attention-backend FLASH_ATTN_V100 \
  --enable-prefix-caching --partial-prefix-cache --block-size 2048 --mamba-block-size 2048 \
  --mixed-prefill-step-latency-ms 0 --enable-prompt-tokens-details --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder --reasoning-parser qwen3 --trust-remote-code --seed 0 \
  --kv-cache-dtype float16 --gpu-memory-utilization 0.89 --mamba-cache-mode align \
  --limit-mm-per-prompt '{"video": 0, "audio": 0}' --mamba-ssm-cache-dtype float32 \
  --default-chat-template-kwargs '{"enable_thinking":false}' \
  --kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "hc_weight_storage": "sharded", "qsa_host_kv": true, "qsa_host_kv_dtype": "int8_per_token_head", "qsa_host_kv_draft_dtype": "int8_per_token_head", "qsa_host_kv_hot_dtype": "int8_per_token_head", "qsa_host_kv_hot_tokens": 262144, "qsa_host_kv_prefill_stage_tokens": 262144, "qsa_host_kv_trim_warmup_cache": true, "qsa_host_kv_state_blocks": 176, "qsa_host_kv_history_blocks": 768}' \
  --speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 5, "draft_sample_method": "greedy"}'

wheel 自带的 serve_flash_next_nvfp4_v100.sh 还是 MTP4、无 DCP、131K 热区的旧配置,KV 和速度都达不到本文数字,请直接用上面的命令。

方式二:1Cat Studio

在 Studio 中安装 1.5.4 运行时即可。

1.5.4 的 Docker 构建包稍后单独发布;在此之前请继续使用 1.5.3 镜像或直接安装 wheel。

已知限制

  1. 27B 同时给 tools 与 response_format: json_object 时会误调工具: 问题本身不需要工具时,温度 0 下 1.5.3 0/10、1.5.4 10/10 调用了工具,服务默认采样下 2/10 → 4/10;需要工具时两版都正确。Flash-Next 不受影响。在修复前,需要纯 JSON 输出的请求请不要同时传 tools。
  2. INT8 KV 单请求每步多约 0.9 ms: 并发 2 及以上与 FP8 KV 完全一致;单请求每步多约 0.9 ms(250K 多约 2.3 ms),所以 27B 单请求温度 0 比 1.5.3 慢 2–8%。以单请求为主的部署可加 --kv-cache-dtype fp8_e4m3,此时比 1.5.3 快 2–4%。
  3. wheel 自带的 Flash-Next 启动脚本仍是旧配置: serve_flash_next_nvfp4_v100.sh 为 MTP4、无 DCP、131K 热区;请用上文的完整命令。
  4. Flash-Next 250K 历史的多轮追问首字仍然偏慢: 完全命中 2.9 s、多轮追加 4.7 s,与 1.5.3 相同;128K 及以下在 1 秒以内。
  5. 长 prompt 进来时,正在输出的请求仍会变慢: prefill 与 decode 已经分开调度,64K prefill 期间正在输出的请求多走 2.6–3 倍步数,但总共仍被拖慢约 21 s(27B),最长单步约 0.76 s;Flash-Next 约 7 s。27B 8 个 agent 会话时首字 p90 为 7.4 s(1.5.3 为 4.6 s)。
  6. Flash-Next 主机内存占用变大: 启动时主机内存最低剩余 15 GiB(1.5.3 为 38 GiB)。
  7. Flash-Next 超长上下文并发偶有长步: 240K × 2 并发时纯 decode 步 p99 为 4.2 s(中位 20.8 ms)。
  8. W8A16-FP8 强制调用无参数工具时 arguments 不是合法 JSON(NVFP4 与 FP8 正常)。
  9. 最大并发为 8: 这是 256K 配置下的发布默认值,更高并发需要缩短上下文。

1.5.3 已知限制的处理情况: 第 1 条(Flash-Next 裸 vllm serve 启动失败)已修复;第 3 条(MTP 温度 > 0 更慢)改善,27B 差距 2.7 → 0.9 ms;第 4 条(27B DFlash2 KV 少 8.8%)已修复,1,308,270 → 1,634,112;第 5 条(Flash-Next 短对话缓存粒度 2048)由 64 token 的 decode 输出缓存覆盖;第 7 条(长 prompt 干扰)改善但未消除;第 8 条(首个采样请求慢约 3 秒)已修复,27B DFlash2 前三个请求 4.46 / 1.53 / 1.60 → 1.72 / 1.74 / 1.48 s;第 2 条(Flash-Next 250K 追问首字)未改善。

回滚

  • wheel: 重新安装 1.5.3 wheel(SHA256 0558021651c41ab111609d121cef029c09224de4b6e6f8fd362754dfdd84990f)。
  • Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.3 运行时即可。
  • Docker: 1.5.4 Docker 包发布后,保留旧镜像标签即可切回;新旧版本请使用不同的编译缓存卷。

文件与校验

文件 SHA256
1cat_vllm-1.5.4+cu128-cp312-cp312-linux_x86_64.whl 8f1e4d543764bc749eb95906651efffe0595e20a2ab57624b541542d452ddef1

wheel 构建自 main 1fa9c438bc。

贡献者

感谢本版本的 13 位贡献者,以及所有提交问题和测试反馈的用户:

贡献者 合并的 PR
yangzhuxinyzx 24
Peuqui 17
ProprietaryLegal 9
andrewleech 2
ChainZeaxion 1
elight 1
kezboard233 1
Leonccaa 1
Mermiges 1
TCat2003 1
Th-Underscore 1
That80-20 1
trademark789 1