Skip to content

1Cat-vLLM 1.5.2

Choose a tag to compare

@yangzhuxinyzx yangzhuxinyzx released this 06 Nov 08:50
2bb8c2b

1Cat-vLLM 1.5.2:4 张 V100 跑 256K、8 并发

四张 2017 年的 V100-32GB,可以同时服务 8 个 256K 上下文的请求。单请求最快接近 500 tok/s,8 并发的总吞吐超过 1200 tok/s。到 250K 上下文,Flash-Next 的单请求速度只比 1K 时慢 18%。在 GSM8K、MMLU、HumanEval 上,NVFP4 量化后的 27B 与原版 BF16 模型得分持平。

在线演示与完整测试数据:http://156.226.174.161:48152/1.5.2/(代码续写实时回放、速度图表、6 个数据集、完整数据表)

这一版合并了 128 个 PR、1805 个提交,新增约 40 万行代码,覆盖投机解码并发、长文 prefill、混合架构前缀缓存、主机内存 KV、API 正确性和发布工程。

一眼看懂

Qwen3.8-27B NVFP4 + DFlash2 Qwen3.8-Flash-Next NVFP4 + MTP4
单请求 decode(8K 上下文) 487 tok/s 253 tok/s
8 并发总吞吐 1224 tok/s 659 tok/s
250K 上下文单请求 268 tok/s 213 tok/s(只比 1K 慢 18%)
真实代码题单请求(HumanEval) 619 tok/s 311 tok/s
Prefill 速度(8K) 4646 tok/s 6289 tok/s
多轮对话追问首字(250K 历史) 1.7 s 2.1 s
最大上下文 / 并发 256K / 8 256K / 8
与 BF16 原版对比 GSM8K、MMLU、HumanEval 持平 —

单请求和 8 并发两行按接受率 70% 折算,HumanEval 一行是实测速度,口径见下文“速度”一节。

智商:量化之后一样聪明

NVFP4 把权重压到约 4.5 bit,最常见的担心是模型变笨。我们拿原版 BF16 模型在同一套题、同样的贪心解码下逐题对比:

测试 BF16 原版 27B NVFP4(1.5.2) Flash-Next NVFP4(1.5.2)
GSM8K(300 题,数学推理) 285(95.0%) 289(96.3%) 289(96.3%)
MMLU(400 题,综合知识) 336(84.0%) 332(83.0%) 349(87.3%)
HumanEval(20 题,代码生成) 19(95%) 20(100%) 19(95%)
  • 27B 与 BF16 的差距都在统计误差内: GSM8K 差 +1.3 个百分点,95% 置信区间 −0.7 到 +3.7;MMLU 差 −1.0 个百分点,置信区间 −3.0 到 +1.0。
  • 逐 token 对比: 100 条输出中,与 BF16 出现分叉时,BF16 对自己选择的 token 优势中位数只有 0.2(logprob),从未选到 BF16 前 5 名以外的 token。
  • 没有劣化迹象: 所有测试输出中,乱码和重复循环都是 0 次。
  • 精度路径透明: 权重 FP4 解码到 FP16 只舍入一次,GEMM 全程 FP32 累加,logits 用 FP32,GDN 状态用 FP32,KV 用 FP8 E4M3 并按层加载校准系数。

速度

测试条件:

项目 配置
GPU 4× V100-SXM2-32GB(NVLink),TP4
显卡状态 显存 1107 MHz,核心最高 1530 MHz,功耗上限 350 W,ECC 开
主机 62 GB 内存
27B 模型 Unsloth Qwen3.8-27B-NVFP4 + incoai/Qwen3.8-27B-DFlash2(每轮 7 个草稿)
Flash-Next 模型 Qwen3.8-Flash-Next-NVFP4 + MTP4(每轮 4 个草稿),FP8 KV 历史放在主机内存
计时口径 纯 decode:只统计所有请求都在 decode 的步,不含 prefill

全部测试过程中没有出现一次错误或显存溢出。

单请求与并发

投机解码的速度取决于草稿被接受的比例,而这个比例随内容变化很大。为了让不同场景可以直接比较,下表把实测的每轮耗时,统一按平均接受率 70% 折算:27B 每轮产出 5.9 个 token,Flash-Next 每轮产出 3.8 个。

8K 上下文(单路 / 总吞吐,tok/s)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B 0 487 372 / 744 260 / 1040 153 / 1224
27B 0.6 457 351 / 702 251 / 1004 152 / 1212
27B 1.0 458 351 / 702 251 / 1003 151 / 1206
Flash-Next 0 253 165 / 330 127 / 509 82 / 659
Flash-Next 0.6 203 142 / 284 124 / 496 79 / 634
Flash-Next 1.0 202 142 / 284 120 / 478 80 / 639

64K 上下文(单路 / 总吞吐,tok/s)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B 0 409 288 / 576 185 / 741 104 / 832
27B 0.6 387 276 / 551 180 / 721 103 / 823
Flash-Next 0 234 146 / 293 112 / 448 未测
Flash-Next 0.6 195 135 / 270 100 / 402 未测

长文衰减

单请求,温度 0,单路 tok/s:

上下文 1K 8K 32K 64K 128K 250K 250K 相对 1K
27B 501 487 452 409 346 268 −47%
Flash-Next 260 253 250 234 221 213 −18%

Flash-Next 的长文几乎不掉速,因为 48 层里只有 12 层是全注意力,其余是线性注意力(GDN),而且超出热窗口的 KV 历史放在主机内存,由稀疏注意力按需读取。

六个真实数据集

每个数据集 20 条真实题目,模型自然输出到结束,温度 0,单请求:

数据集 27B 接受率 27B tok/s Flash-Next 接受率 Flash-Next tok/s
HumanEval(代码) 84% 619 91% 311
MBPP(代码) 81% 552 85% 292
MATH500(数学) 76% 543 82% 285
GSM8K(数学) 77% 529 82% 286
MT-Bench(多轮对话) 43% 386 60% 258
中文写作 22% 215 46% 195

代码和数学的草稿接受率高达 76–91%,速度最快;开放式写作接受率低,速度主要受接受率影响。4 并发时,27B 在这些数据集上的总吞吐为 391–861 tok/s,Flash-Next 为 349–490 tok/s。

Prefill 与前缀缓存

长度 27B 首次 27B 完全命中 / 多轮追加 Flash-Next 首次 Flash-Next 完全命中 / 多轮追加
8K 1.72 s 0.47 / 0.51 s 1.27 s 0.63 / 0.80 s
32K 7.48 s 0.51 / 0.55 s 5.41 s 0.68 / 0.73 s
64K 16.6 s 0.41 / 0.61 s 11.4 s 0.73 / 0.77 s
128K 39.5 s 1.00 / 1.10 s 24.8 s 1.17 / 1.19 s
250K 101.6 s 1.59 / 1.70 s 56.1 s 2.08 / 2.11 s

多轮对话时,前几轮的输入和模型自己的回复都会命中缓存。即使历史有 250K token,下一轮的首字也在 2 秒左右。这对 Agent 和长对话最关键。

这一版做了什么

投机解码并发:从“只能单发”到 8 并发

  • DFlash2 多请求验证:
    • 2–4 个请求共用草稿模型的 FP8 投影(#1289)。
    • 两三个请求的 GDN 验证用更合适的 BV4 分块(#1291)。
    • 16/24/32 行验证时,TP4 push all-reduce 和 Gemma RMSNorm 合并为一次(#1292)。
  • 9–32 行验证的算子:
    • K16 生产者把结果直接交给下一个投影(#1367)。
    • GDN 的 b/a 投影并入 QKVZ 的同一次启动(#1368)。
  • 采样不再拖后腿:
    • 采样图支持 1–4 个请求,c2/c4 时采样比贪心多出的开销从约 3 ms 降到约 0.9 ms(#1393)。
    • top-k/top-p 行在设备端分类,不再同步(#1267)。
    • 不再每步把请求的历史 token 发给模型执行器(#1263)。
  • Flash-Next MTP4 并发验证(#1369),27B 发布配置开到 8 并发(#1392)。
  • 多 token 验证: 用 FA2 打包 GQA 头(#1227)。

长文与 prefill

  • 4096 token 的 prefill 块: 原生 Q4096 注意力达到 79 TFLOP/s,并为长前缀预留工作区(#1287)。
  • 长前缀后的短块 prefill 改用 split-KV(#1298)。
  • prefill 与常驻 decode 并行按整块推进(#1295)。
  • 混合步调度: 短混合 prefill 用分段 CUDA graph(#1290),混合步固定开销不再计入 prefill 预算(#1288)。
  • 服务中不再为每种 prompt 长度重新编译 kernel,消除首字抖动和 worker 内存增长(#1394)。

前缀缓存与 Agent

  • 混合 Mamba/GDN 模型支持部分前缀命中,Agent 多轮从最后一条消息继续(#1297),配合 2048 token 的状态块(#1296)。
  • 推理模型的输出块也进入缓存,带思考过程的多轮对话可以命中(#1338)。
  • 接口返回已缓存的 prompt token 数(#1299)。
  • 缓存正确性:
    • 部分前缀缓存的键包含图片标识,换了图片不会误命中(#1363)。
    • 外部 KV 卸载与 EAGLE/MTP 命中的一系列修复(#1360、#1304、#1244、#1240、#1265、#1232)。

Flash-Next:主机内存 KV 与 PLE

  • FP8 KV 历史放主机内存,256K 上下文、8 并发成为默认发布配置。 开启后自动改用磁盘映射 PLE,不再需要手动设置环境变量(#1392)。
  • PLE:
    • 主机能锁页时默认使用 hybrid PLE(#1340)。
    • FP8 checkpoint 的 PLE 行走原生快速通道(#1343)。
    • 磁盘映射 PLE 行的预取与收集(#885、#996、#988)。
  • 长上下文稀疏注意力(QSA):
    • 减少选择计算量(#1171)。
    • 混合批次中长请求的选择保持稳定(#817)。
    • 修复 RoPE 位置越界(#1201)。
  • MTP4 全词表默认配置(#821),mHC 投影开销降低(#1172)。

新模型:DeepSeek-V4.1-Flash 上 4 张 V100

  • 以源码方式支持 DeepSeek-V4.1-Flash(IQ2_XXS GGUF): 512K packed KV、Engram、DSpark5 投机解码,专家权重约 33% 卸载到主机内存(#1277)。
  • DeepSeek-V4 相关修复(#1183、#1222、#715)。
  • GGUF 算子:
    • 三种格式的 QKV 投影融合(#1017)。
    • 稠密投影与共享专家合并(#993)。
    • TP4 HC 权重分片并走 NVLink 直接交换(#992)。
    • TP2 共享投影平面(#1026)。
    • 路由 top-k 与 Q8 量化融合(#1147)。

稳定性与显存

  • 27B 未下载草稿模型时 256K 启动失败: 启动剖析误把视觉编码器的激活计为 17.89 GiB,修复后降到 1.18 GiB,KV 容量达到 8 倍(#1391)。
  • 混合架构 KV 页的尺寸与对齐(#1252、#1251、#1256、#1258),启动时为空 KV 块预留空间(#1247)。
  • 多模态内存:
    • MRoPE 缓存按位置范围设上限(#1019)。
    • 共享内存的处理缓存不再永久占住条目(#1200)。
    • 透明图片和 EXIF 方向的处理(#1366、#1310)。
  • 通信与加载:
    • pynccl all-reduce 默认使用独立输出,恢复投机接受率(#1284)。
    • 不完整的分片 checkpoint 会立即报错(#1356)。
    • TurboMind split-K 不再超出工作区(#1339)。
    • 读者忙时继续轮询共享内存通知(#1306)。

API 与工具调用:12 项正确性修复

  • 工具调用与输出格式:
    • 工具调用与 JSON response_format 同时使用时,保留 XML 工具调用分支(#1312)。
    • 流式工具调用、错误与 logprob 元数据完整保留(#1317)。
  • 工具参数:
    • 大整数参数不丢精度(#1308),非有限数值保持 JSON 合法(#1309)。
    • 无参数的指定工具约束为 JSON 对象(#1315)。
    • parallel_tool_calls=false 生效(#1316),tool_choice="none" 在流式下生效(#1314)。
    • qwen3_coder 在调用头之后立即结束的调用也能流式输出(#1313)。
  • 输出与 logprobs:
    • stop 字符串与输出元数据对齐(#1305)。
    • 并行 DELTA 输出保留 prompt logprobs(#1318)。
    • 增量反分词的等待窗口有上限(#1354)。
    • logprob 行数与 token 不一致时返回不带 logprobs 的输出(#1357)。

编译、构建与平台

  • torch.compile 的 clone 消除不再改变内存布局或制造别名(#1358、#1359),多模态限制计入编译缓存键(#1355)。
  • Turing(SM75): 按 worker 构建和加载 FA2(#797),QPN 线性层与 QSA 索引器(#804、#1229),融合 GDN 投机元数据(#1264),以及 DeepSeek-V4 支持(#798)。
  • SM72 构建目标(#803)。
  • Docker: 修复源码构建(#1207),新增 SM70 发布镜像,一个镜像启动两个模型,并内置 CUDA 12.8 编译器(#1392、#1395)。

完整的 128 个 PR 见 PR_INDEX.md。

发布前验证

  • 完整测试矩阵: 两个模型分别覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文衰减、prefill 与前缀命中、6 个数据集。
  • API 回归扫描: 27B 45 项(含图片输入),Flash-Next 38 项,覆盖流式、工具调用、结构化输出、logprobs、并发串扰、断连释放、队列溢出等,全部通过。
  • 长时间运行: 两个模型各连续压测 20 分钟,27B 完成约 2900 个请求,加上随机中途取消,错误为 0,显存和内存没有持续增长。
  • 采样分布: 27B 投机解码下的采样分布与不用草稿模型时对比,5 个 prompt、每个 600 次采样、逐位置检验,70 个位置中只有 3 个略超噪声范围,未见系统性偏差。
  • 干净环境: Docker 镜像在空缓存的新容器中启动两个模型,并通过 API 扫描。

硬件与内存要求

27B Flash-Next
GPU 4× V100-SXM2-32GB(NVLink) 同左
主机内存 64 GB 以上,运行时剩余约 47 GB 64 GB 以上,运行时剩余约 38 GB
显存(空闲 / 峰值) 27.0 / 30.7 GiB,带大图时约 32 GiB 30.2 / 30.6 GiB
启动时间(宿主机,有编译缓存) 约 2.5 分钟 约 6 分钟
  • 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
  • 直接安装 wheel 时,主机必须装 CUDA 12.8 工具包(含 nvcc),FlashQLA 的 GDN prefill kernel 在首次使用时编译。Docker 镜像已经内置。

安装与启动

方式一:直接安装 wheel

python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.2+cu128-cp312-cp312-linux_x86_64.whl

27B 用 wheel 自带的启动脚本,参数来自内置的发布配方(8 并发,显存比例 0.83):

serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 8000

Flash-Next 使用以下参数,与 Studio 预设和 Docker 一致:

vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
  --tensor-parallel-size 4 --dtype half --kv-cache-dtype float16 --max-model-len 262144 \
  --max-num-seqs 8 --max-num-batched-tokens 4096 --gpu-memory-utilization 0.89 \
  --attention-backend FLASH_ATTN_V100 --enable-prefix-caching --partial-prefix-cache \
  --block-size 2048 --mamba-block-size 2048 --mixed-prefill-step-latency-ms 0 \
  --mamba-ssm-cache-dtype float32 --language-model-only --trust-remote-code \
  --enable-prompt-tokens-details --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 --default-chat-template-kwargs '{"enable_thinking":false}' --seed 0 \
  --kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "qsa_host_kv": true, "qsa_host_kv_dtype": "fp8_e4m3", "qsa_host_kv_hot_dtype": "fp8_e4m3", "qsa_host_kv_hot_tokens": 32768, "qsa_host_kv_prefill_stage_tokens": 262144}' \
  --speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 4, "draft_sample_method": "greedy"}'

方式二:Docker

发布附件中的 Docker 构建包包含 Dockerfile、serve.sh、wheel、README-docker.md(英文版 README-docker.en.md)和校验值:

tar -xzf 1cat-vllm-1.5.2-docker.tar.gz && cd 1cat-vllm-1.5.2-docker
sha256sum -c SHA256SUMS
docker build -t 1cat/vllm-v100:1.5.2 .
docker run -d --runtime=nvidia --gpus all --network host --ipc=host --ulimit memlock=-1 \
  -e MODEL=27b -e PORT=8000 -v /data/models:/models:ro -v vllm-cache:/cache 1cat/vllm-v100:1.5.2

改成 MODEL=flashnext 即启动 Flash-Next。模型目录名、环境变量和换源方法见 README-docker.md。在干净环境中,27B 首次启动约 5.5 分钟、再次启动约 3 分钟;Flash-Next 分别约 10.5 和 6.5 分钟。

方式三:1Cat Studio

在 Studio 中安装 1.5.2 运行时,27B 会自动使用 wheel 内置的发布配方。

已知限制

  1. 长 prompt 只改末尾时,前缀缓存不命中: 32K–64K 的 prompt 只改动最后 10% 时会整段重新计算。完全相同的 prompt 和多轮追加不受影响。
  2. Flash-Next 采样比贪心慢: 单请求时,温度大于 0 每轮多约 3.3 ms;8 并发时没有差别。
  3. 新启动的引擎第一批请求首字较慢: 2/4/8 并发时首字为 1.2 / 2.4 / 3.3 s,之后为 0.7 / 1.4 / 2.3 s。
  4. 最大并发为 8: 这是 256K 配置下的上限,更高并发需要缩短上下文。
  5. 长 prompt 进来时,正在输出的请求会短暂变慢: 目前 prefill 和 decode 在同一步中混合执行。
  6. wheel 附带的 Flash-Next 启动脚本是旧配置: serve_flash_next_nvfp4_v100.sh 仍为 128K、单请求,请使用上文参数或 Docker。27B 启动脚本的帮助文字仍写着最多 4 并发,实际按配方为 8 并发。

回滚

  • wheel: 重新安装 1.5.1 wheel(SHA256 757f2200ba6bd20f7e3e5c8fc68c7e05461df6d284baf676ac0c16ce19434959),并改回 1.5.1 的启动参数。
  • Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.1 运行时即可。
  • Docker: 保留旧镜像标签,切回旧标签启动。编译缓存与版本相关,新旧版本建议使用不同的缓存卷。

文件与校验

文件 SHA256
1cat_vllm-1.5.2+cu128-cp312-cp312-linux_x86_64.whl a27afc512cf29d4baa322366f92b32f1d0ddec6d7178b0bf4351ad00c1958baa
1cat-vllm-1.5.2-docker.tar.gz 见 SHA256SUMS

wheel 构建自 main 9f970d628;之后的 main 2bb8c2b9c 只修改了 Docker 构建文件。

贡献者

感谢本版本的 6 位贡献者,以及所有提交问题和测试反馈的用户:

贡献者 合并的 PR
yangzhuxinyzx 79
Leonccaa 28
Peuqui 17
hdq66666 2
minhtcai 1
jcborro 1