Repository navigation
1Cat-vLLM 1.5.2
1Cat-vLLM 1.5.2:4 张 V100 跑 256K、8 并发
四张 2017 年的 V100-32GB,可以同时服务 8 个 256K 上下文的请求。单请求最快接近 500 tok/s,8 并发的总吞吐超过 1200 tok/s。到 250K 上下文,Flash-Next 的单请求速度只比 1K 时慢 18%。在 GSM8K、MMLU、HumanEval 上,NVFP4 量化后的 27B 与原版 BF16 模型得分持平。
在线演示与完整测试数据:http://156.226.174.161:48152/1.5.2/(代码续写实时回放、速度图表、6 个数据集、完整数据表)
这一版合并了 128 个 PR、1805 个提交,新增约 40 万行代码,覆盖投机解码并发、长文 prefill、混合架构前缀缓存、主机内存 KV、API 正确性和发布工程。
一眼看懂
| Qwen3.8-27B NVFP4 + DFlash2 | Qwen3.8-Flash-Next NVFP4 + MTP4 | |
|---|---|---|
| 单请求 decode(8K 上下文) | 487 tok/s | 253 tok/s |
| 8 并发总吞吐 | 1224 tok/s | 659 tok/s |
| 250K 上下文单请求 | 268 tok/s | 213 tok/s(只比 1K 慢 18%) |
| 真实代码题单请求(HumanEval) | 619 tok/s | 311 tok/s |
| Prefill 速度(8K) | 4646 tok/s | 6289 tok/s |
| 多轮对话追问首字(250K 历史) | 1.7 s | 2.1 s |
| 最大上下文 / 并发 | 256K / 8 | 256K / 8 |
| 与 BF16 原版对比 | GSM8K、MMLU、HumanEval 持平 | — |
单请求和 8 并发两行按接受率 70% 折算,HumanEval 一行是实测速度,口径见下文“速度”一节。
智商:量化之后一样聪明
NVFP4 把权重压到约 4.5 bit,最常见的担心是模型变笨。我们拿原版 BF16 模型在同一套题、同样的贪心解码下逐题对比:
| 测试 | BF16 原版 | 27B NVFP4(1.5.2) | Flash-Next NVFP4(1.5.2) |
|---|---|---|---|
| GSM8K(300 题,数学推理) | 285(95.0%) | 289(96.3%) | 289(96.3%) |
| MMLU(400 题,综合知识) | 336(84.0%) | 332(83.0%) | 349(87.3%) |
| HumanEval(20 题,代码生成) | 19(95%) | 20(100%) | 19(95%) |
- 27B 与 BF16 的差距都在统计误差内: GSM8K 差 +1.3 个百分点,95% 置信区间 −0.7 到 +3.7;MMLU 差 −1.0 个百分点,置信区间 −3.0 到 +1.0。
- 逐 token 对比: 100 条输出中,与 BF16 出现分叉时,BF16 对自己选择的 token 优势中位数只有 0.2(logprob),从未选到 BF16 前 5 名以外的 token。
- 没有劣化迹象: 所有测试输出中,乱码和重复循环都是 0 次。
- 精度路径透明: 权重 FP4 解码到 FP16 只舍入一次,GEMM 全程 FP32 累加,logits 用 FP32,GDN 状态用 FP32,KV 用 FP8 E4M3 并按层加载校准系数。
速度
测试条件:
| 项目 | 配置 |
|---|---|
| GPU | 4× V100-SXM2-32GB(NVLink),TP4 |
| 显卡状态 | 显存 1107 MHz,核心最高 1530 MHz,功耗上限 350 W,ECC 开 |
| 主机 | 62 GB 内存 |
| 27B 模型 | Unsloth Qwen3.8-27B-NVFP4 + incoai/Qwen3.8-27B-DFlash2(每轮 7 个草稿) |
| Flash-Next 模型 | Qwen3.8-Flash-Next-NVFP4 + MTP4(每轮 4 个草稿),FP8 KV 历史放在主机内存 |
| 计时口径 | 纯 decode:只统计所有请求都在 decode 的步,不含 prefill |
全部测试过程中没有出现一次错误或显存溢出。
单请求与并发
投机解码的速度取决于草稿被接受的比例,而这个比例随内容变化很大。为了让不同场景可以直接比较,下表把实测的每轮耗时,统一按平均接受率 70% 折算:27B 每轮产出 5.9 个 token,Flash-Next 每轮产出 3.8 个。
8K 上下文(单路 / 总吞吐,tok/s)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B | 0 | 487 | 372 / 744 | 260 / 1040 | 153 / 1224 |
| 27B | 0.6 | 457 | 351 / 702 | 251 / 1004 | 152 / 1212 |
| 27B | 1.0 | 458 | 351 / 702 | 251 / 1003 | 151 / 1206 |
| Flash-Next | 0 | 253 | 165 / 330 | 127 / 509 | 82 / 659 |
| Flash-Next | 0.6 | 203 | 142 / 284 | 124 / 496 | 79 / 634 |
| Flash-Next | 1.0 | 202 | 142 / 284 | 120 / 478 | 80 / 639 |
64K 上下文(单路 / 总吞吐,tok/s)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B | 0 | 409 | 288 / 576 | 185 / 741 | 104 / 832 |
| 27B | 0.6 | 387 | 276 / 551 | 180 / 721 | 103 / 823 |
| Flash-Next | 0 | 234 | 146 / 293 | 112 / 448 | 未测 |
| Flash-Next | 0.6 | 195 | 135 / 270 | 100 / 402 | 未测 |
长文衰减
单请求,温度 0,单路 tok/s:
| 上下文 | 1K | 8K | 32K | 64K | 128K | 250K | 250K 相对 1K |
|---|---|---|---|---|---|---|---|
| 27B | 501 | 487 | 452 | 409 | 346 | 268 | −47% |
| Flash-Next | 260 | 253 | 250 | 234 | 221 | 213 | −18% |
Flash-Next 的长文几乎不掉速,因为 48 层里只有 12 层是全注意力,其余是线性注意力(GDN),而且超出热窗口的 KV 历史放在主机内存,由稀疏注意力按需读取。
六个真实数据集
每个数据集 20 条真实题目,模型自然输出到结束,温度 0,单请求:
| 数据集 | 27B 接受率 | 27B tok/s | Flash-Next 接受率 | Flash-Next tok/s |
|---|---|---|---|---|
| HumanEval(代码) | 84% | 619 | 91% | 311 |
| MBPP(代码) | 81% | 552 | 85% | 292 |
| MATH500(数学) | 76% | 543 | 82% | 285 |
| GSM8K(数学) | 77% | 529 | 82% | 286 |
| MT-Bench(多轮对话) | 43% | 386 | 60% | 258 |
| 中文写作 | 22% | 215 | 46% | 195 |
代码和数学的草稿接受率高达 76–91%,速度最快;开放式写作接受率低,速度主要受接受率影响。4 并发时,27B 在这些数据集上的总吞吐为 391–861 tok/s,Flash-Next 为 349–490 tok/s。
Prefill 与前缀缓存
| 长度 | 27B 首次 | 27B 完全命中 / 多轮追加 | Flash-Next 首次 | Flash-Next 完全命中 / 多轮追加 |
|---|---|---|---|---|
| 8K | 1.72 s | 0.47 / 0.51 s | 1.27 s | 0.63 / 0.80 s |
| 32K | 7.48 s | 0.51 / 0.55 s | 5.41 s | 0.68 / 0.73 s |
| 64K | 16.6 s | 0.41 / 0.61 s | 11.4 s | 0.73 / 0.77 s |
| 128K | 39.5 s | 1.00 / 1.10 s | 24.8 s | 1.17 / 1.19 s |
| 250K | 101.6 s | 1.59 / 1.70 s | 56.1 s | 2.08 / 2.11 s |
多轮对话时,前几轮的输入和模型自己的回复都会命中缓存。即使历史有 250K token,下一轮的首字也在 2 秒左右。这对 Agent 和长对话最关键。
这一版做了什么
投机解码并发:从“只能单发”到 8 并发
- DFlash2 多请求验证:
- 9–32 行验证的算子:
- 采样不再拖后腿:
- Flash-Next MTP4 并发验证(#1369),27B 发布配置开到 8 并发(#1392)。
- 多 token 验证: 用 FA2 打包 GQA 头(#1227)。
长文与 prefill
- 4096 token 的 prefill 块: 原生 Q4096 注意力达到 79 TFLOP/s,并为长前缀预留工作区(#1287)。
- 长前缀后的短块 prefill 改用 split-KV(#1298)。
- prefill 与常驻 decode 并行按整块推进(#1295)。
- 混合步调度: 短混合 prefill 用分段 CUDA graph(#1290),混合步固定开销不再计入 prefill 预算(#1288)。
- 服务中不再为每种 prompt 长度重新编译 kernel,消除首字抖动和 worker 内存增长(#1394)。
前缀缓存与 Agent
- 混合 Mamba/GDN 模型支持部分前缀命中,Agent 多轮从最后一条消息继续(#1297),配合 2048 token 的状态块(#1296)。
- 推理模型的输出块也进入缓存,带思考过程的多轮对话可以命中(#1338)。
- 接口返回已缓存的 prompt token 数(#1299)。
- 缓存正确性:
Flash-Next:主机内存 KV 与 PLE
- FP8 KV 历史放主机内存,256K 上下文、8 并发成为默认发布配置。 开启后自动改用磁盘映射 PLE,不再需要手动设置环境变量(#1392)。
- PLE:
- 长上下文稀疏注意力(QSA):
- MTP4 全词表默认配置(#821),mHC 投影开销降低(#1172)。
新模型:DeepSeek-V4.1-Flash 上 4 张 V100
- 以源码方式支持 DeepSeek-V4.1-Flash(IQ2_XXS GGUF): 512K packed KV、Engram、DSpark5 投机解码,专家权重约 33% 卸载到主机内存(#1277)。
- DeepSeek-V4 相关修复(#1183、#1222、#715)。
- GGUF 算子:
稳定性与显存
- 27B 未下载草稿模型时 256K 启动失败: 启动剖析误把视觉编码器的激活计为 17.89 GiB,修复后降到 1.18 GiB,KV 容量达到 8 倍(#1391)。
- 混合架构 KV 页的尺寸与对齐(#1252、#1251、#1256、#1258),启动时为空 KV 块预留空间(#1247)。
- 多模态内存:
- 通信与加载:
API 与工具调用:12 项正确性修复
- 工具调用与输出格式:
- 工具参数:
- 输出与 logprobs:
编译、构建与平台
- torch.compile 的 clone 消除不再改变内存布局或制造别名(#1358、#1359),多模态限制计入编译缓存键(#1355)。
- Turing(SM75): 按 worker 构建和加载 FA2(#797),QPN 线性层与 QSA 索引器(#804、#1229),融合 GDN 投机元数据(#1264),以及 DeepSeek-V4 支持(#798)。
- SM72 构建目标(#803)。
- Docker: 修复源码构建(#1207),新增 SM70 发布镜像,一个镜像启动两个模型,并内置 CUDA 12.8 编译器(#1392、#1395)。
完整的 128 个 PR 见 PR_INDEX.md。
发布前验证
- 完整测试矩阵: 两个模型分别覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文衰减、prefill 与前缀命中、6 个数据集。
- API 回归扫描: 27B 45 项(含图片输入),Flash-Next 38 项,覆盖流式、工具调用、结构化输出、logprobs、并发串扰、断连释放、队列溢出等,全部通过。
- 长时间运行: 两个模型各连续压测 20 分钟,27B 完成约 2900 个请求,加上随机中途取消,错误为 0,显存和内存没有持续增长。
- 采样分布: 27B 投机解码下的采样分布与不用草稿模型时对比,5 个 prompt、每个 600 次采样、逐位置检验,70 个位置中只有 3 个略超噪声范围,未见系统性偏差。
- 干净环境: Docker 镜像在空缓存的新容器中启动两个模型,并通过 API 扫描。
硬件与内存要求
| 27B | Flash-Next | |
|---|---|---|
| GPU | 4× V100-SXM2-32GB(NVLink) | 同左 |
| 主机内存 | 64 GB 以上,运行时剩余约 47 GB | 64 GB 以上,运行时剩余约 38 GB |
| 显存(空闲 / 峰值) | 27.0 / 30.7 GiB,带大图时约 32 GiB | 30.2 / 30.6 GiB |
| 启动时间(宿主机,有编译缓存) | 约 2.5 分钟 | 约 6 分钟 |
- 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
- 直接安装 wheel 时,主机必须装 CUDA 12.8 工具包(含
nvcc),FlashQLA 的 GDN prefill kernel 在首次使用时编译。Docker 镜像已经内置。
安装与启动
方式一:直接安装 wheel
python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.2+cu128-cp312-cp312-linux_x86_64.whl27B 用 wheel 自带的启动脚本,参数来自内置的发布配方(8 并发,显存比例 0.83):
serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 8000Flash-Next 使用以下参数,与 Studio 预设和 Docker 一致:
vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
--tensor-parallel-size 4 --dtype half --kv-cache-dtype float16 --max-model-len 262144 \
--max-num-seqs 8 --max-num-batched-tokens 4096 --gpu-memory-utilization 0.89 \
--attention-backend FLASH_ATTN_V100 --enable-prefix-caching --partial-prefix-cache \
--block-size 2048 --mamba-block-size 2048 --mixed-prefill-step-latency-ms 0 \
--mamba-ssm-cache-dtype float32 --language-model-only --trust-remote-code \
--enable-prompt-tokens-details --enable-auto-tool-choice --tool-call-parser qwen3_coder \
--reasoning-parser qwen3 --default-chat-template-kwargs '{"enable_thinking":false}' --seed 0 \
--kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "qsa_host_kv": true, "qsa_host_kv_dtype": "fp8_e4m3", "qsa_host_kv_hot_dtype": "fp8_e4m3", "qsa_host_kv_hot_tokens": 32768, "qsa_host_kv_prefill_stage_tokens": 262144}' \
--speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 4, "draft_sample_method": "greedy"}'方式二:Docker
发布附件中的 Docker 构建包包含 Dockerfile、serve.sh、wheel、README-docker.md(英文版 README-docker.en.md)和校验值:
tar -xzf 1cat-vllm-1.5.2-docker.tar.gz && cd 1cat-vllm-1.5.2-docker
sha256sum -c SHA256SUMS
docker build -t 1cat/vllm-v100:1.5.2 .
docker run -d --runtime=nvidia --gpus all --network host --ipc=host --ulimit memlock=-1 \
-e MODEL=27b -e PORT=8000 -v /data/models:/models:ro -v vllm-cache:/cache 1cat/vllm-v100:1.5.2改成 MODEL=flashnext 即启动 Flash-Next。模型目录名、环境变量和换源方法见 README-docker.md。在干净环境中,27B 首次启动约 5.5 分钟、再次启动约 3 分钟;Flash-Next 分别约 10.5 和 6.5 分钟。
方式三:1Cat Studio
在 Studio 中安装 1.5.2 运行时,27B 会自动使用 wheel 内置的发布配方。
已知限制
- 长 prompt 只改末尾时,前缀缓存不命中: 32K–64K 的 prompt 只改动最后 10% 时会整段重新计算。完全相同的 prompt 和多轮追加不受影响。
- Flash-Next 采样比贪心慢: 单请求时,温度大于 0 每轮多约 3.3 ms;8 并发时没有差别。
- 新启动的引擎第一批请求首字较慢: 2/4/8 并发时首字为 1.2 / 2.4 / 3.3 s,之后为 0.7 / 1.4 / 2.3 s。
- 最大并发为 8: 这是 256K 配置下的上限,更高并发需要缩短上下文。
- 长 prompt 进来时,正在输出的请求会短暂变慢: 目前 prefill 和 decode 在同一步中混合执行。
- wheel 附带的 Flash-Next 启动脚本是旧配置:
serve_flash_next_nvfp4_v100.sh仍为 128K、单请求,请使用上文参数或 Docker。27B 启动脚本的帮助文字仍写着最多 4 并发,实际按配方为 8 并发。
回滚
- wheel: 重新安装 1.5.1 wheel(SHA256
757f2200ba6bd20f7e3e5c8fc68c7e05461df6d284baf676ac0c16ce19434959),并改回 1.5.1 的启动参数。 - Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.1 运行时即可。
- Docker: 保留旧镜像标签,切回旧标签启动。编译缓存与版本相关,新旧版本建议使用不同的缓存卷。
文件与校验
| 文件 | SHA256 |
|---|---|
1cat_vllm-1.5.2+cu128-cp312-cp312-linux_x86_64.whl |
a27afc512cf29d4baa322366f92b32f1d0ddec6d7178b0bf4351ad00c1958baa |
1cat-vllm-1.5.2-docker.tar.gz |
见 SHA256SUMS |
wheel 构建自 main 9f970d628;之后的 main 2bb8c2b9c 只修改了 Docker 构建文件。
贡献者
感谢本版本的 6 位贡献者,以及所有提交问题和测试反馈的用户:
| 贡献者 | 合并的 PR |
|---|---|
| yangzhuxinyzx | 79 |
| Leonccaa | 28 |
| Peuqui | 17 |
| hdq66666 | 2 |
| minhtcai | 1 |
| jcborro | 1 |