Repository navigation
1Cat-vLLM 1.5.3:27B 原生 MTP4,不需要草稿模型
这一版的重点是 27B 的原生 MTP4 投机解码:不用加载单独的草稿模型,只用模型自带的预测头,长文和多请求同样走高速 attention。64K 上下文 4 个请求同时输出时,每轮只要 24.2 ms,8 并发实测总吞吐 892 tok/s。同时,混合架构模型的前缀缓存、显存预热和图片输入修掉了一批会让服务崩溃或掉缓存命中的问题,前缀缓存不加参数也会自动用上发布配置。
这一版合并了 105 个 PR、302 个提交。
完整测试数据:http://156.226.174.161:48152/1.5.3/(速度图表、MTP4 与 DFlash2 对比、6 个数据集、质量对比、完整数据表)
本文全部数据都在默认时钟下测得:显存 877 MHz、功耗上限 300 W。1.5.2 的发布数据是在显存 1107 MHz、350 W 下测的,两版的速度数字不能直接相比。
一眼看懂
| 27B NVFP4 + DFlash2 | 27B NVFP4 + MTP4 | Flash-Next NVFP4 + MTP4 | |
|---|---|---|---|
| 单请求 decode(8K 上下文) | 426 tok/s | 293 tok/s | 224 tok/s |
| 8 并发总吞吐(8K) | 1120 tok/s | 1072 tok/s | 584 tok/s |
| 64K 上下文 4 并发每轮耗时 | 32.7 ms | 24.2 ms | 34.0 ms |
| 250K 上下文单请求 | 254 tok/s | 194 tok/s | 193 tok/s(只比 1K 慢 16%) |
| 真实代码题单请求(HumanEval) | 545 tok/s | 370 tok/s | 276 tok/s |
| 需要草稿模型 | 是 | 否 | 否(自带 MTP 头) |
| KV 容量 | 1,308,270 token | 1,598,295 token | 378,652 token(历史放主机内存) |
| 与 BF16 原版对比 | GSM8K、MMLU、代码持平 | 同左(同一个目标模型) | GSM8K、代码持平,MMLU 更高 |
单请求、8 并发和 250K 三行按接受率 70% 折算;64K 每轮耗时和 HumanEval 两行是实测,口径见下文“速度”一节。
怎么选 27B 的投机解码方式
- DFlash2: 需要额外下载草稿模型,单请求最快,代码、数学这类接受率高的内容优势最大。
- MTP4: 不需要草稿模型,启动更快,KV 多 22%。多请求和长文每轮更省:8K 8 并发每轮 28.4 ms,DFlash2 是 42.2 ms。在中文写作这类接受率低的内容上,MTP4 单请求 224 tok/s,反而比 DFlash2 的 189 tok/s 快。
- 启用 MTP4: 只需
--speculative-config '{"method": "mtp", "num_speculative_tokens": 4}',全部加速路径自动开启。
DeepSeek-V4.1-Flash:16 张 V100 跑 1M 上下文
原版 checkpoint 在 4 台 Dell C4140(每台 4 张 V100-32GB)上以流水线 4 段 × 张量并行 4 运行,DSpark 投机解码,最大上下文 1M(#1482)。
| 并发(1K 上下文,温度 0) | 1 | 2 | 4 | 8 | 16 | 32 | 64 |
|---|---|---|---|---|---|---|---|
| 每路 tok/s | 202 | 198 | 157 | 111 | 79 | 50 | 29 |
| 合计 tok/s | 202 | 396 | 628 | 888 | 1264 | 1600 | 1856 |
| 每轮 ms | 19.3 | 19.7 | 24.8 | 35.1 | 49.5 | 77.5 | 135.7 |
DSpark 每轮 5 个草稿,实测平均每轮产出约 3.9 个 token(各档 3.5–4.4),tok/s 由每轮耗时按此换算。
- 长文: 512K 单请求每轮 23.7 ms,约 165 tok/s(修复前 50.9 ms),512K 首次 prefill 132.7 s。
- 正确性与稳定性: 大海捞针 9/9,GSM8K 297/300(16 并发),持续压测 722 个请求、错误 0。
- 测试口径: 数据来自 #1482 合并时的验证(11-11,C4140 显存 1053 MHz),没有用 1.5.3 wheel 在 C4140 上复测。
- 启动参数: 下面这组加速开关在代码里默认关闭,必须显式设置;
PIN_*是 C4140 的 CPU 绑核,换机器请按 NUMA 布局调整。1M 配置文件的全文见 HTML 报告的“启动参数”一节。
# 每台节点 / on every node (scripts in benchmarks/deepseek_v41/native/)
export V41_CONFIG=~/v41/serve-native-pp4-long.yaml # 1M context, PP4 x TP4, DSpark5
export VLLM_V41_BATCH=1 VLLM_V41_WINDOW_RING=0 VLLM_V41_PP_MICRO=1 VLLM_V41_PP_AHEAD=1 \
VLLM_V41_LAZY_OUTPUT_IDS=1 VLLM_V41_PROPOSE_GRAPH=1 VLLM_V41_INDEX_SHARD=1 \
VLLM_V41_PREFILL_PIPELINE=1 VLLM_V41_HC_GEMM=1 VLLM_V41_LIVE_TABLE=1 VLLM_V41_FAST_READD=1 \
VLLM_V41_TOPP_NO_FENCE=1 VLLM_V41_PIN_CORES=2,4,3,5 VLLM_V41_PIN_NUMA=0,0,1,1 VLLM_V41_PIN_ENGINE=20,22,60,62
~/v41/run_pp4.sh <rank> # rank 3, 2, 1, then 0 (API node)智商:量化之后一样聪明
与原版 27B BF16 在同一套题、同样的贪心解码下逐题对比:
| 测试 | 27B BF16 原版 | 27B NVFP4(1.5.3) | Flash-Next NVFP4(1.5.3) |
|---|---|---|---|
| GSM8K(300 题) | 285(95.0%) | 290(96.7%) | 289(96.3%) |
| MMLU(400 题) | 336(84.0%) | 331(82.8%) | 349(87.3%) |
| 代码(MBPP + HumanEval 各 20 题) | 21(52.5%) | 21(52.5%) | 20(50.0%) |
- 27B 与 BF16 的差距都在统计误差内: GSM8K 差 +1.7 个百分点,95% 置信区间 0.0 到 +3.7;MMLU 差 −1.3,置信区间 −3.3 到 +0.8。
- 逐 token 对比: 与 BF16 出现分叉时,BF16 对自己选择的 token 优势中位数只有 0.20(logprob),从未选到 BF16 前 5 名以外的 token。
- 没有劣化迹象: 所有输出中乱码和重复循环都是 0 次;命中前缀缓存与冷算的输出逐字一致。
速度
测试条件:
| 项目 | 配置 |
|---|---|
| GPU | 4× V100-SXM2-32GB(NVLink),TP4 |
| 显卡状态 | 默认时钟:显存 877 MHz,核心最高 1530 MHz,功耗上限 300 W,ECC 开 |
| 主机 | 62 GB 内存 |
| 27B 模型 | Unsloth Qwen3.8-27B-NVFP4;DFlash2 每轮 7 个草稿,MTP4 每轮 4 个 |
| Flash-Next 模型 | Qwen3.8-Flash-Next-NVFP4 + MTP4,FP8 KV 历史放在主机内存 |
| 软件 | 本次发布的 wheel(main cb97f379b) |
| 计时口径 | 纯 decode:只统计所有请求都在 decode 的步,不含 prefill |
全部测试过程中没有出现一次错误或显存溢出。
投机解码的速度取决于草稿被接受的比例,而这个比例随内容变化很大。为了让不同场景可以直接比较,下面的并发和长文表把实测的每轮耗时统一按平均接受率 70% 折算:DFlash2 每轮产出 5.9 个 token,MTP4 每轮 3.8 个。
8K 上下文(单路 / 总吞吐,tok/s)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B DFlash2 | 0 | 426 | 340 / 680 | 248 / 992 | 140 / 1120 |
| 27B DFlash2 | 0.6 | 403 | 325 / 650 | 241 / 964 | 138 / 1104 |
| 27B DFlash2 | 1 | 401 | 324 / 648 | 241 / 964 | 138 / 1104 |
| 27B MTP4 | 0 | 293 | 250 / 500 | 201 / 804 | 134 / 1072 |
| 27B MTP4 | 0.6 | 242 | 212 / 424 | 175 / 700 | 120 / 960 |
| 27B MTP4 | 1 | 243 | 212 / 424 | 175 / 700 | 122 / 976 |
| Flash-Next | 0 | 224 | 147 / 294 | 118 / 472 | 73 / 584 |
| Flash-Next | 0.6 | 186 | 133 / 266 | 111 / 444 | 75 / 600 |
| Flash-Next | 1 | 186 | 133 / 266 | 112 / 448 | 72 / 576 |
64K 上下文(单路 / 总吞吐,tok/s)
| 模型 | 温度 | 1 并发 | 2 并发 | 4 并发 | 8 并发 |
|---|---|---|---|---|---|
| 27B DFlash2 | 0 | 367 | 272 / 544 | 181 / 724 | 99 / 792 |
| 27B DFlash2 | 0.6 | 350 | 262 / 524 | 178 / 712 | 98 / 784 |
| 27B MTP4 | 0 | 258 | 215 / 430 | 157 / 628 | 98 / 784 |
| 27B MTP4 | 0.6 | 221 | 189 / 378 | 146 / 584 | 94 / 752 |
| Flash-Next | 0 | 214 | 136 / 272 | 112 / 448 | 未测 |
| Flash-Next | 0.6 | 180 | 127 / 254 | 103 / 412 | 未测 |
长文衰减(单请求,温度 0,按 70% 接受率折算 tok/s)
| 上下文 | 1K | 8K | 32K | 64K | 128K | 250K | 250K 相对 1K |
|---|---|---|---|---|---|---|---|
| 27B DFlash2 | 436 | 426 | 399 | 367 | 319 | 254 | -42% |
| 27B MTP4 | 301 | 293 | 276 | 258 | 233 | 194 | -36% |
| Flash-Next | 231 | 224 | 223 | 214 | 199 | 193 | -16% |
每轮耗时(ms,温度 0)
| 场景 | 27B DFlash2 | 27B MTP4 | Flash-Next |
|---|---|---|---|
| 8K · 1 并发 | 13.9 | 13.0 | 16.9 |
| 8K · 2 并发 | 17.3 | 15.2 | 25.9 |
| 8K · 4 并发 | 23.8 | 18.9 | 32.1 |
| 8K · 8 并发 | 42.2 | 28.4 | 51.9 |
| 64K · 1 并发 | 16.1 | 14.7 | 17.8 |
| 64K · 2 并发 | 21.7 | 17.7 | 27.9 |
| 64K · 4 并发 | 32.7 | 24.2 | 34.0 |
| 64K · 8 并发 | 59.8 | 38.6 | 未测 |
六个数据集(单请求,温度 0,实测)
| 数据集 | 27B DFlash2 接受率 | tok/s | 27B MTP4 接受率 | tok/s | Flash-Next 接受率 | tok/s |
|---|---|---|---|---|---|---|
| HumanEval | 84% | 545 | 90% | 370 | 91% | 276 |
| MBPP | 80% | 486 | 85% | 340 | 84% | 261 |
| MATH500 | 76% | 473 | 82% | 336 | 82% | 255 |
| GSM8K | 78% | 464 | 84% | 335 | 81% | 251 |
| MT-Bench | 42% | 336 | 59% | 289 | 60% | 226 |
| 中文写作 | 22% | 189 | 46% | 224 | 44% | 168 |
Prefill 与前缀缓存(首字秒数)
| 长度 | 27B 首次 | 27B 完全命中 / 多轮追加 | Flash-Next 首次 | Flash-Next 完全命中 / 多轮追加 |
|---|---|---|---|---|
| 1K | 0.57 | 0.29 / 0.34 | 0.52 | 0.29 / 0.31 |
| 8K | 1.81 | 0.49 / 0.54 | 1.50 | 0.40 / 0.53 |
| 32K | 7.85 | 0.51 / 0.57 | 5.99 | 0.45 / 0.48 |
| 64K | 17.37 | 0.43 / 0.61 | 12.49 | 0.52 / 0.51 |
| 128K | 41.50 | 1.05 / 1.14 | 26.54 | 0.86 / 0.91 |
| 250K | 106.68 | 1.58 / 1.75 | 61.40 | 2.79 / 4.58 |
多轮对话时,前几轮的输入和模型自己的回复都会命中缓存。27B 即使历史有 250K token,下一轮首字也在 2 秒以内。
这一版做了什么
27B 原生 MTP:不用草稿模型也能投机解码
- MTP4 大幅提速: 单图草稿、精修 head、CUDA GDN 验证延迟提交、GDN 投机回放、QPN2 投影,TP2/TP4、NVFP4/FP8 共用同一套算子(#1472、#1478、#1491)。
- 长上下文走 E4M3 grouped 快速注意力: 覆盖到服务的整个上下文窗口(#1425),多请求(2–8 路)同样走快速路径,FP32 累加。
- 全部默认开启: 只写
--speculative-config '{"method": "mtp", "num_speculative_tokens": 4}'即启用全部加速,不需要额外参数或环境变量。 - MTP 精简草稿词表(#1218、#1468)。
前缀缓存默认就是发布配置
不加缓存参数时,混合架构模型现在会自动用上发布配置:27B 直接 vllm serve <模型> --tensor-parallel-size 4 即可启动;Flash-Next 仍需加 --max-num-seqs 8(见已知限制第 1 条)。
- 混合架构前缀缓存默认使用统一的 2048 网格: 自动设置 block / mamba block 2048、部分前缀缓存、8192 保留间隔,Flash-V100 页对齐到 64 的倍数,FP8 KV 不再出现 1648 这种无法对齐的块(#1422、#1492)。
- 编译模式下的设备能力检查不再打断 torch.compile 全图,不再因此启动失败(#1496、#1498)。
- 显式参数始终优先:
--prefix-cache-retention-interval 0、--no-partial-prefix-cache等用户写明的值不会被默认值覆盖(#1500)。
前缀缓存:命中率与稳定性
- Flash-Next 多会话 64K 命中恢复: 主机 KV 模式下不再默认周期保留,尾部检查点不会被挤掉(#1500)。
- 长混合 prompt 的部分前缀命中恢复(27B 与 Flash-Next,#1401)。
- 空池不再崩溃: 部分前缀快照与命中按分区配额检查可用块(#1483、#1492)。
- 释放的哈希块可选保留以便复用,并在分区块池中设上限(#1444、#1466、#1476)。
- 投机回滚时保留超额分配的 mamba 块(#1431)。
稳定性修复
- 投机解码下图片输入崩溃: 编码器输出要等对应 token 被确认后才释放(#1485、#1494)。
- Flash-Next 主机 KV 启动预热越界: MRV2 预热只在有界状态池内分配(#1490、#1493)。
- MRV2 预热覆盖所有请求数、混合步和满块,服务中不再首次编译(#1402、#1420)。
- TileLang 没有 nvcc 时 GDN prefill 自动用预编译 kernel(#1400)。
- GDN 纯 decode 批次中非投机行的 a/b 门控(#1432),运行时状态、工具解析与 NVFP4 工作区修复(#1464)。
- 派生草稿配置共用目标模型的运行资源(#1418),LoRA 目标 logits 在投机解码中保留(#1261)。
- 退出不再卡住: MessageQueue 的 zmq 资源由 finalizer 关闭(#1406)。
API:Anthropic 接口、流式与推理统计
- Anthropic Messages 接口:
message_start带 type/role、input_tokens 只计新输入、SSE 帧与 ID 完整保留、返回实测缓存用量(#1428、#1440、#1436)。 - 流式工具调用与推理 usage 补全(#1443),prompt 中已有起始标记时也统计推理 token(#1433)。
- 可选空闲心跳,长思考时连接不被代理断开(#1437),HEAD 存活探测与可选启动日志(#1438)。
- 被拒绝的请求直接返回 4xx,不再打印服务端 traceback(#1399)。
- 单请求阶段耗时统计(#1467),解析器与模板热加载先准备再发布(#1439)。
速度
- DFlash2 每请求 8 行的校验继续用 48 行 kernel: MTP 的新 attention kernel 不再拖慢 DFlash2 长文,64K 4 并发每轮 37.1→32.7 ms(#1505)。
- DFlash2 采样图在不同温度之间复用(#1442),带惩罚项时保持紧凑拒绝采样(#1398)。
- 短 prompt 用小块 prefill,长 prompt 保持大块(#1416),长上下文 decode 分桶更细(#1417)。
- 多 KV 头的 grouped FP16 验证(#1345),QPN8 M=9–32 decode 单遍读权重(#1069、#1157、#1469)。
- Flash-Next PLE: 预取下一个 prefill 块的 PLE 收集、限制映射页预取(#1217、#1235、#1477);page4 QSA prefill 原生路径覆盖 12/24 头(#1236)。
- mHC / KDA 投影与验证 kernel(#1159、#1165、#1166、#1325、#1471)。
DeepSeek-V4.1-Flash:16 张 V100 原生 PP4 × TP4
- 原版 checkpoint 在 4 台 C4140(16× V100)上 PP4 × TP4 运行,1M 上下文,含并发与长文 decode 优化(#1482)。
- packed KV 字节恢复、投机回退区预留(#1381),wo_a 单次 grouped GEMM(#1273),融合 KV 压缩的栈用量上限(#1344)。
- 流水线并行: 空步保留常驻请求行、急切发送与缓冲区所有权重叠(#1373、#1294),GGUF TP4 加载与运行内存降低(#1020)。
上游回移、构建与平台
- 上游修复回移: 多模态 EXIF 哈希与视觉 RoPE、persistent top-k、GLM-5.3-Flash kpool、PP 下的多模态(#1415、#1411、#1410、#1365)。
- 构建: 修复只编 SM70 时的构建失败(#1322),E4M3 GEMM 支持量化组 64/32(#1412),FP8 bridge 工作区按 KV 头组分配(#1321)。
- Turing(SM75): FlashQLA TileLang prefill(#1228),FA2 固定 split-wave 策略(#1346)。
- 发布: wheel 自带的启动脚本更新到 1.5.2 配置(#1397),Docker 镜像内置 CUDA 12.8 编译器(#1395),DS-V4.1 配置中移除硬编码 API key(#1396)。
完整的 105 个 PR 见 PR_INDEX.md。
发布前验证
- 完整测试矩阵: 27B DFlash2、27B MTP4、Flash-Next 三种配置,覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文衰减、prefill 与前缀命中、6 个数据集。全部使用本次发布的 wheel。
- 质量评测: 两个模型与 27B BF16 原版逐题对比 GSM8K、MMLU 和 40 道代码题。
- 缓存与一致性: 多轮对话命中率、共享系统提示命中、命中缓存与冷算输出逐字对比、多轮对话 token 漂移检查。
- Docker 干净环境: 空缓存卷首次启动两个模型,API 回归扫描(27B 45 项含图片输入,Flash-Next 38 项),各连续压测 20 分钟(27B 完成 2864 个请求、中途取消 544 个、错误 0,Flash-Next 完成 958 个请求、中途取消 196 个、错误 0),显存和内存没有持续增长。
硬件与内存要求
| 27B(DFlash2) | 27B(MTP4) | Flash-Next | |
|---|---|---|---|
| GPU | 4× V100-SXM2-32GB(NVLink) | 同左 | 同左 |
| 主机内存 | 64 GB 以上,运行时剩余约 45 GiB | 同左,剩余约 46 GiB | 64 GB 以上,运行时剩余约 38 GiB |
| 显存(启动后,每卡) | 27.2 GiB | 26.3 GiB | 29.9 GiB |
| 启动时间(宿主机,有编译缓存) | 约 2 分钟 | 约 2 分钟 | 约 6 分钟 |
- 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
- 直接安装 wheel 时,主机最好装 CUDA 12.8 工具包(含
nvcc): FlashQLA 的 GDN prefill kernel 首次使用时编译;没有nvcc时会自动改用预编译 kernel(#1400),功能不受影响。Docker 镜像已经内置编译器。
安装与启动
方式一:直接安装 wheel
python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.3+cu128-cp312-cp312-linux_x86_64.whl27B(DFlash2),参数与 Docker 和 Studio 预设完全相同:
vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-dflash2 \
--tensor-parallel-size 4 --dtype half --kv-cache-dtype fp8_e4m3 \
--max-model-len 262144 --max-num-batched-tokens 4096 --max-num-seqs 8 \
--gpu-memory-utilization 0.83 --attention-backend FLASH_ATTN_V100 \
--enable-prefix-caching --partial-prefix-cache --mamba-cache-mode align \
--block-size 2048 --mamba-block-size 2048 --prefix-cache-retention-interval 8192 \
--mixed-prefill-step-latency-ms 0 --enable-prompt-tokens-details \
--limit-mm-per-prompt '{"video": 0, "audio": 0}' --trust-remote-code --seed 0 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
--default-chat-template-kwargs '{"enable_thinking":true}' \
--speculative-config '{"method": "dflash", "model": "/models/Qwen3.8-27B-DFlash2", "revision": "dedf8df68adfb1afeaf7b7480c0a0243108177b4", "num_speculative_tokens": 7, "kv_cache_dtype": "auto", "attention_backend": "FLASH_ATTN_V100", "draft_sample_method": "probabilistic", "enforce_eager": false}'或者用 wheel 自带的启动脚本:
serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 800027B(MTP4,不需要草稿模型)。前缀缓存的块大小、部分命中和保留间隔会自动设好,与 DFlash2 配方相同:
vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-mtp \
--tensor-parallel-size 4 --dtype half --kv-cache-dtype fp8_e4m3 --max-model-len 262144 \
--max-num-seqs 8 --max-num-batched-tokens 4096 --gpu-memory-utilization 0.83 \
--attention-backend FLASH_ATTN_V100 --enable-prefix-caching --mixed-prefill-step-latency-ms 0 \
--trust-remote-code --limit-mm-per-prompt '{"video": 0, "audio": 0}' --enable-prompt-tokens-details \
--enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 4}'Flash-Next(与 Docker、Studio 预设和 wheel 自带的 serve_flash_next_nvfp4_v100.sh 相同;--max-num-seqs 8 不能省):
vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
--tensor-parallel-size 4 --dtype half --kv-cache-dtype float16 --language-model-only \
--max-model-len 262144 --max-num-batched-tokens 4096 --max-num-seqs 8 \
--gpu-memory-utilization 0.89 --attention-backend FLASH_ATTN_V100 \
--enable-prefix-caching --partial-prefix-cache --block-size 2048 --mamba-block-size 2048 \
--mixed-prefill-step-latency-ms 0 --mamba-ssm-cache-dtype float32 --enable-prompt-tokens-details \
--trust-remote-code --seed 0 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
--reasoning-parser qwen3 --default-chat-template-kwargs '{"enable_thinking":false}' \
--kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "qsa_host_kv": true, "qsa_host_kv_dtype": "fp8_e4m3", "qsa_host_kv_hot_dtype": "fp8_e4m3", "qsa_host_kv_hot_tokens": 32768, "qsa_host_kv_prefill_stage_tokens": 262144}' \
--speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 4, "draft_sample_method": "greedy"}'方式二:Docker
发布附件中的 Docker 构建包包含 Dockerfile、serve.sh、wheel、README-docker.md(英文版 README-docker.en.md)和校验值:
tar -xzf 1cat-vllm-1.5.3-docker.tar.gz && cd 1cat-vllm-1.5.3-docker
sha256sum -c SHA256SUMS
docker build -t 1cat/vllm-v100:1.5.3 .
docker run -d --runtime=nvidia --gpus all --network host --ipc=host --ulimit memlock=-1 \
-e MODEL=27b -e PORT=8000 -v /data/models:/models:ro -v vllm-cache:/cache 1cat/vllm-v100:1.5.3改成 MODEL=flashnext 即启动 Flash-Next。干净环境中,27B 首次启动约 5.5 分钟、再次启动约 2 分钟;Flash-Next 分别约 10.5 分钟和 6 分钟。
方式三:1Cat Studio
在 Studio 中安装 1.5.3 运行时即可。
已知限制
- Flash-Next 不加参数直接
vllm serve会启动失败: 默认最大并发 256,超过了能放下的 Mamba 状态块数(报错max_num_seqs (256) exceeds available Mamba cache blocks)。请加--max-num-seqs 8;Docker、Studio 和自带启动脚本已经带上。下一版会根据显存自动压低。 - Flash-Next 250K 历史的多轮追问首字变慢: 完全命中 2.8 s、多轮追加 4.6 s(1.5.2 约 2.1 s);128K 及以下比 1.5.2 更快。原因还在排查。
- MTP 在温度大于 0 时每轮更慢: Flash-Next 单请求每轮多约 3.5 ms,8 并发时没有差别;27B MTP4 单请求多约 2.7 ms,8 并发时仍多约 3 ms。
- 27B(DFlash2)的 KV 容量比 1.5.2 少 8.8%: 启动时为图片输入预留了更多激活显存,1,434,850 → 1,308,270 token。显存里能同时放下的满 256K 请求从约 5.5 个降到约 5 个;MTP4 不加载草稿模型,有 1,598,295 token。
- Flash-Next 短对话的缓存命中粒度是 2048 token: 不足一个块的短对话不会命中。
- 最大并发为 8: 这是 256K 配置下的上限,更高并发需要缩短上下文。
- 长 prompt 进来时,正在输出的请求会短暂变慢: prefill 和 decode 目前在同一步中混合执行。
- 新启动的引擎,第一个温度大于 0 的请求慢约 3 秒: 采样相关的 Triton kernel 在这时才首次编译(27B 实测 4.4 s,之后 1.5–1.6 s),启动预热还没有覆盖温度大于 0 的路径。
回滚
- wheel: 重新安装 1.5.2 wheel(SHA256
a27afc512cf29d4baa322366f92b32f1d0ddec6d7178b0bf4351ad00c1958baa)。 - Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.2 运行时即可。
- Docker: 保留旧镜像标签,切回旧标签启动。编译缓存与版本相关,新旧版本建议使用不同的缓存卷。
文件与校验
| 文件 | SHA256 |
|---|---|
1cat_vllm-1.5.3+cu128-cp312-cp312-linux_x86_64.whl |
0558021651c41ab111609d121cef029c09224de4b6e6f8fd362754dfdd84990f |
1cat-vllm-1.5.3-docker.tar.gz |
见 SHA256SUMS |
wheel 构建自 main cb97f379b。
贡献者
感谢本版本的 13 位贡献者,以及所有提交问题和测试反馈的用户:
| 贡献者 | 合并的 PR |
|---|---|
| yangzhuxinyzx | 39 |
| Peuqui | 23 |
| ChainZeaxion | 17 |
| ProprietaryLegal | 4 |
| Leonccaa | 4 |
| rivetphilbot | 3 |
| kezboard233 | 3 |
| squibloads | 2 |
| SabaTech-dev | 1 |
| pensandoz | 1 |
| Oaklight | 1 |
| Maxwell-Lyu | 1 |
| andrewleech | 1 |