Skip to content

1Cat-vLLM 1.5.3

Latest

Choose a tag to compare

@yangzhuxinyzx yangzhuxinyzx released this 14 Nov 13:44
cb97f37

1Cat-vLLM 1.5.3:27B 原生 MTP4,不需要草稿模型

这一版的重点是 27B 的原生 MTP4 投机解码:不用加载单独的草稿模型,只用模型自带的预测头,长文和多请求同样走高速 attention。64K 上下文 4 个请求同时输出时,每轮只要 24.2 ms,8 并发实测总吞吐 892 tok/s。同时,混合架构模型的前缀缓存、显存预热和图片输入修掉了一批会让服务崩溃或掉缓存命中的问题,前缀缓存不加参数也会自动用上发布配置。

这一版合并了 105 个 PR、302 个提交。

完整测试数据:http://156.226.174.161:48152/1.5.3/(速度图表、MTP4 与 DFlash2 对比、6 个数据集、质量对比、完整数据表)

本文全部数据都在默认时钟下测得:显存 877 MHz、功耗上限 300 W。1.5.2 的发布数据是在显存 1107 MHz、350 W 下测的,两版的速度数字不能直接相比。

一眼看懂

27B NVFP4 + DFlash2 27B NVFP4 + MTP4 Flash-Next NVFP4 + MTP4
单请求 decode(8K 上下文) 426 tok/s 293 tok/s 224 tok/s
8 并发总吞吐(8K) 1120 tok/s 1072 tok/s 584 tok/s
64K 上下文 4 并发每轮耗时 32.7 ms 24.2 ms 34.0 ms
250K 上下文单请求 254 tok/s 194 tok/s 193 tok/s(只比 1K 慢 16%)
真实代码题单请求(HumanEval) 545 tok/s 370 tok/s 276 tok/s
需要草稿模型 是 否 否(自带 MTP 头)
KV 容量 1,308,270 token 1,598,295 token 378,652 token(历史放主机内存)
与 BF16 原版对比 GSM8K、MMLU、代码持平 同左(同一个目标模型) GSM8K、代码持平,MMLU 更高

单请求、8 并发和 250K 三行按接受率 70% 折算;64K 每轮耗时和 HumanEval 两行是实测,口径见下文“速度”一节。

怎么选 27B 的投机解码方式

  • DFlash2: 需要额外下载草稿模型,单请求最快,代码、数学这类接受率高的内容优势最大。
  • MTP4: 不需要草稿模型,启动更快,KV 多 22%。多请求和长文每轮更省:8K 8 并发每轮 28.4 ms,DFlash2 是 42.2 ms。在中文写作这类接受率低的内容上,MTP4 单请求 224 tok/s,反而比 DFlash2 的 189 tok/s 快。
  • 启用 MTP4: 只需 --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}',全部加速路径自动开启。

DeepSeek-V4.1-Flash:16 张 V100 跑 1M 上下文

原版 checkpoint 在 4 台 Dell C4140(每台 4 张 V100-32GB)上以流水线 4 段 × 张量并行 4 运行,DSpark 投机解码,最大上下文 1M(#1482)。

并发(1K 上下文,温度 0) 1 2 4 8 16 32 64
每路 tok/s 202 198 157 111 79 50 29
合计 tok/s 202 396 628 888 1264 1600 1856
每轮 ms 19.3 19.7 24.8 35.1 49.5 77.5 135.7

DSpark 每轮 5 个草稿,实测平均每轮产出约 3.9 个 token(各档 3.5–4.4),tok/s 由每轮耗时按此换算。

  • 长文: 512K 单请求每轮 23.7 ms,约 165 tok/s(修复前 50.9 ms),512K 首次 prefill 132.7 s。
  • 正确性与稳定性: 大海捞针 9/9,GSM8K 297/300(16 并发),持续压测 722 个请求、错误 0。
  • 测试口径: 数据来自 #1482 合并时的验证(11-11,C4140 显存 1053 MHz),没有用 1.5.3 wheel 在 C4140 上复测。
  • 启动参数: 下面这组加速开关在代码里默认关闭,必须显式设置;PIN_* 是 C4140 的 CPU 绑核,换机器请按 NUMA 布局调整。1M 配置文件的全文见 HTML 报告的“启动参数”一节。
# 每台节点 / on every node (scripts in benchmarks/deepseek_v41/native/)
export V41_CONFIG=~/v41/serve-native-pp4-long.yaml   # 1M context, PP4 x TP4, DSpark5
export VLLM_V41_BATCH=1 VLLM_V41_WINDOW_RING=0 VLLM_V41_PP_MICRO=1 VLLM_V41_PP_AHEAD=1 \
  VLLM_V41_LAZY_OUTPUT_IDS=1 VLLM_V41_PROPOSE_GRAPH=1 VLLM_V41_INDEX_SHARD=1 \
  VLLM_V41_PREFILL_PIPELINE=1 VLLM_V41_HC_GEMM=1 VLLM_V41_LIVE_TABLE=1 VLLM_V41_FAST_READD=1 \
  VLLM_V41_TOPP_NO_FENCE=1 VLLM_V41_PIN_CORES=2,4,3,5 VLLM_V41_PIN_NUMA=0,0,1,1 VLLM_V41_PIN_ENGINE=20,22,60,62
~/v41/run_pp4.sh <rank>   # rank 3, 2, 1, then 0 (API node)

智商:量化之后一样聪明

与原版 27B BF16 在同一套题、同样的贪心解码下逐题对比:

测试 27B BF16 原版 27B NVFP4(1.5.3) Flash-Next NVFP4(1.5.3)
GSM8K(300 题) 285(95.0%) 290(96.7%) 289(96.3%)
MMLU(400 题) 336(84.0%) 331(82.8%) 349(87.3%)
代码(MBPP + HumanEval 各 20 题) 21(52.5%) 21(52.5%) 20(50.0%)
  • 27B 与 BF16 的差距都在统计误差内: GSM8K 差 +1.7 个百分点,95% 置信区间 0.0 到 +3.7;MMLU 差 −1.3,置信区间 −3.3 到 +0.8。
  • 逐 token 对比: 与 BF16 出现分叉时,BF16 对自己选择的 token 优势中位数只有 0.20(logprob),从未选到 BF16 前 5 名以外的 token。
  • 没有劣化迹象: 所有输出中乱码和重复循环都是 0 次;命中前缀缓存与冷算的输出逐字一致。

速度

测试条件:

项目 配置
GPU 4× V100-SXM2-32GB(NVLink),TP4
显卡状态 默认时钟:显存 877 MHz,核心最高 1530 MHz,功耗上限 300 W,ECC 开
主机 62 GB 内存
27B 模型 Unsloth Qwen3.8-27B-NVFP4;DFlash2 每轮 7 个草稿,MTP4 每轮 4 个
Flash-Next 模型 Qwen3.8-Flash-Next-NVFP4 + MTP4,FP8 KV 历史放在主机内存
软件 本次发布的 wheel(main cb97f379b)
计时口径 纯 decode:只统计所有请求都在 decode 的步,不含 prefill

全部测试过程中没有出现一次错误或显存溢出。

投机解码的速度取决于草稿被接受的比例,而这个比例随内容变化很大。为了让不同场景可以直接比较,下面的并发和长文表把实测的每轮耗时统一按平均接受率 70% 折算:DFlash2 每轮产出 5.9 个 token,MTP4 每轮 3.8 个。

8K 上下文(单路 / 总吞吐,tok/s)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B DFlash2 0 426 340 / 680 248 / 992 140 / 1120
27B DFlash2 0.6 403 325 / 650 241 / 964 138 / 1104
27B DFlash2 1 401 324 / 648 241 / 964 138 / 1104
27B MTP4 0 293 250 / 500 201 / 804 134 / 1072
27B MTP4 0.6 242 212 / 424 175 / 700 120 / 960
27B MTP4 1 243 212 / 424 175 / 700 122 / 976
Flash-Next 0 224 147 / 294 118 / 472 73 / 584
Flash-Next 0.6 186 133 / 266 111 / 444 75 / 600
Flash-Next 1 186 133 / 266 112 / 448 72 / 576

64K 上下文(单路 / 总吞吐,tok/s)

模型 温度 1 并发 2 并发 4 并发 8 并发
27B DFlash2 0 367 272 / 544 181 / 724 99 / 792
27B DFlash2 0.6 350 262 / 524 178 / 712 98 / 784
27B MTP4 0 258 215 / 430 157 / 628 98 / 784
27B MTP4 0.6 221 189 / 378 146 / 584 94 / 752
Flash-Next 0 214 136 / 272 112 / 448 未测
Flash-Next 0.6 180 127 / 254 103 / 412 未测

长文衰减(单请求,温度 0,按 70% 接受率折算 tok/s)

上下文 1K 8K 32K 64K 128K 250K 250K 相对 1K
27B DFlash2 436 426 399 367 319 254 -42%
27B MTP4 301 293 276 258 233 194 -36%
Flash-Next 231 224 223 214 199 193 -16%

每轮耗时(ms,温度 0)

场景 27B DFlash2 27B MTP4 Flash-Next
8K · 1 并发 13.9 13.0 16.9
8K · 2 并发 17.3 15.2 25.9
8K · 4 并发 23.8 18.9 32.1
8K · 8 并发 42.2 28.4 51.9
64K · 1 并发 16.1 14.7 17.8
64K · 2 并发 21.7 17.7 27.9
64K · 4 并发 32.7 24.2 34.0
64K · 8 并发 59.8 38.6 未测

六个数据集(单请求,温度 0,实测)

数据集 27B DFlash2 接受率 tok/s 27B MTP4 接受率 tok/s Flash-Next 接受率 tok/s
HumanEval 84% 545 90% 370 91% 276
MBPP 80% 486 85% 340 84% 261
MATH500 76% 473 82% 336 82% 255
GSM8K 78% 464 84% 335 81% 251
MT-Bench 42% 336 59% 289 60% 226
中文写作 22% 189 46% 224 44% 168

Prefill 与前缀缓存(首字秒数)

长度 27B 首次 27B 完全命中 / 多轮追加 Flash-Next 首次 Flash-Next 完全命中 / 多轮追加
1K 0.57 0.29 / 0.34 0.52 0.29 / 0.31
8K 1.81 0.49 / 0.54 1.50 0.40 / 0.53
32K 7.85 0.51 / 0.57 5.99 0.45 / 0.48
64K 17.37 0.43 / 0.61 12.49 0.52 / 0.51
128K 41.50 1.05 / 1.14 26.54 0.86 / 0.91
250K 106.68 1.58 / 1.75 61.40 2.79 / 4.58

多轮对话时,前几轮的输入和模型自己的回复都会命中缓存。27B 即使历史有 250K token,下一轮首字也在 2 秒以内。

这一版做了什么

27B 原生 MTP:不用草稿模型也能投机解码

  • MTP4 大幅提速: 单图草稿、精修 head、CUDA GDN 验证延迟提交、GDN 投机回放、QPN2 投影,TP2/TP4、NVFP4/FP8 共用同一套算子(#1472、#1478、#1491)。
  • 长上下文走 E4M3 grouped 快速注意力: 覆盖到服务的整个上下文窗口(#1425),多请求(2–8 路)同样走快速路径,FP32 累加。
  • 全部默认开启: 只写 --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}' 即启用全部加速,不需要额外参数或环境变量。
  • MTP 精简草稿词表(#1218、#1468)。

前缀缓存默认就是发布配置

不加缓存参数时,混合架构模型现在会自动用上发布配置:27B 直接 vllm serve <模型> --tensor-parallel-size 4 即可启动;Flash-Next 仍需加 --max-num-seqs 8(见已知限制第 1 条)。

  • 混合架构前缀缓存默认使用统一的 2048 网格: 自动设置 block / mamba block 2048、部分前缀缓存、8192 保留间隔,Flash-V100 页对齐到 64 的倍数,FP8 KV 不再出现 1648 这种无法对齐的块(#1422、#1492)。
  • 编译模式下的设备能力检查不再打断 torch.compile 全图,不再因此启动失败(#1496、#1498)。
  • 显式参数始终优先: --prefix-cache-retention-interval 0、--no-partial-prefix-cache 等用户写明的值不会被默认值覆盖(#1500)。

前缀缓存:命中率与稳定性

  • Flash-Next 多会话 64K 命中恢复: 主机 KV 模式下不再默认周期保留,尾部检查点不会被挤掉(#1500)。
  • 长混合 prompt 的部分前缀命中恢复(27B 与 Flash-Next,#1401)。
  • 空池不再崩溃: 部分前缀快照与命中按分区配额检查可用块(#1483、#1492)。
  • 释放的哈希块可选保留以便复用,并在分区块池中设上限(#1444、#1466、#1476)。
  • 投机回滚时保留超额分配的 mamba 块(#1431)。

稳定性修复

  • 投机解码下图片输入崩溃: 编码器输出要等对应 token 被确认后才释放(#1485、#1494)。
  • Flash-Next 主机 KV 启动预热越界: MRV2 预热只在有界状态池内分配(#1490、#1493)。
  • MRV2 预热覆盖所有请求数、混合步和满块,服务中不再首次编译(#1402、#1420)。
  • TileLang 没有 nvcc 时 GDN prefill 自动用预编译 kernel(#1400)。
  • GDN 纯 decode 批次中非投机行的 a/b 门控(#1432),运行时状态、工具解析与 NVFP4 工作区修复(#1464)。
  • 派生草稿配置共用目标模型的运行资源(#1418),LoRA 目标 logits 在投机解码中保留(#1261)。
  • 退出不再卡住: MessageQueue 的 zmq 资源由 finalizer 关闭(#1406)。

API:Anthropic 接口、流式与推理统计

  • Anthropic Messages 接口: message_start 带 type/role、input_tokens 只计新输入、SSE 帧与 ID 完整保留、返回实测缓存用量(#1428、#1440、#1436)。
  • 流式工具调用与推理 usage 补全(#1443),prompt 中已有起始标记时也统计推理 token(#1433)。
  • 可选空闲心跳,长思考时连接不被代理断开(#1437),HEAD 存活探测与可选启动日志(#1438)。
  • 被拒绝的请求直接返回 4xx,不再打印服务端 traceback(#1399)。
  • 单请求阶段耗时统计(#1467),解析器与模板热加载先准备再发布(#1439)。

速度

  • DFlash2 每请求 8 行的校验继续用 48 行 kernel: MTP 的新 attention kernel 不再拖慢 DFlash2 长文,64K 4 并发每轮 37.1→32.7 ms(#1505)。
  • DFlash2 采样图在不同温度之间复用(#1442),带惩罚项时保持紧凑拒绝采样(#1398)。
  • 短 prompt 用小块 prefill,长 prompt 保持大块(#1416),长上下文 decode 分桶更细(#1417)。
  • 多 KV 头的 grouped FP16 验证(#1345),QPN8 M=9–32 decode 单遍读权重(#1069、#1157、#1469)。
  • Flash-Next PLE: 预取下一个 prefill 块的 PLE 收集、限制映射页预取(#1217、#1235、#1477);page4 QSA prefill 原生路径覆盖 12/24 头(#1236)。
  • mHC / KDA 投影与验证 kernel(#1159、#1165、#1166、#1325、#1471)。

DeepSeek-V4.1-Flash:16 张 V100 原生 PP4 × TP4

  • 原版 checkpoint 在 4 台 C4140(16× V100)上 PP4 × TP4 运行,1M 上下文,含并发与长文 decode 优化(#1482)。
  • packed KV 字节恢复、投机回退区预留(#1381),wo_a 单次 grouped GEMM(#1273),融合 KV 压缩的栈用量上限(#1344)。
  • 流水线并行: 空步保留常驻请求行、急切发送与缓冲区所有权重叠(#1373、#1294),GGUF TP4 加载与运行内存降低(#1020)。

上游回移、构建与平台

  • 上游修复回移: 多模态 EXIF 哈希与视觉 RoPE、persistent top-k、GLM-5.3-Flash kpool、PP 下的多模态(#1415、#1411、#1410、#1365)。
  • 构建: 修复只编 SM70 时的构建失败(#1322),E4M3 GEMM 支持量化组 64/32(#1412),FP8 bridge 工作区按 KV 头组分配(#1321)。
  • Turing(SM75): FlashQLA TileLang prefill(#1228),FA2 固定 split-wave 策略(#1346)。
  • 发布: wheel 自带的启动脚本更新到 1.5.2 配置(#1397),Docker 镜像内置 CUDA 12.8 编译器(#1395),DS-V4.1 配置中移除硬编码 API key(#1396)。

完整的 105 个 PR 见 PR_INDEX.md。

发布前验证

  • 完整测试矩阵: 27B DFlash2、27B MTP4、Flash-Next 三种配置,覆盖 1/2/4/8 并发、3 档温度、8K 和 64K 上下文、1K–250K 长文衰减、prefill 与前缀命中、6 个数据集。全部使用本次发布的 wheel。
  • 质量评测: 两个模型与 27B BF16 原版逐题对比 GSM8K、MMLU 和 40 道代码题。
  • 缓存与一致性: 多轮对话命中率、共享系统提示命中、命中缓存与冷算输出逐字对比、多轮对话 token 漂移检查。
  • Docker 干净环境: 空缓存卷首次启动两个模型,API 回归扫描(27B 45 项含图片输入,Flash-Next 38 项),各连续压测 20 分钟(27B 完成 2864 个请求、中途取消 544 个、错误 0,Flash-Next 完成 958 个请求、中途取消 196 个、错误 0),显存和内存没有持续增长。

硬件与内存要求

27B(DFlash2) 27B(MTP4) Flash-Next
GPU 4× V100-SXM2-32GB(NVLink) 同左 同左
主机内存 64 GB 以上,运行时剩余约 45 GiB 同左,剩余约 46 GiB 64 GB 以上,运行时剩余约 38 GiB
显存(启动后,每卡) 27.2 GiB 26.3 GiB 29.9 GiB
启动时间(宿主机,有编译缓存) 约 2 分钟 约 2 分钟 约 6 分钟
  • 系统: Python 3.12(x86_64),NVIDIA 驱动支持 CUDA 12.8 及以上。
  • 直接安装 wheel 时,主机最好装 CUDA 12.8 工具包(含 nvcc): FlashQLA 的 GDN prefill kernel 首次使用时编译;没有 nvcc 时会自动改用预编译 kernel(#1400),功能不受影响。Docker 镜像已经内置编译器。

安装与启动

方式一:直接安装 wheel

python3.12 -m venv .venv && source .venv/bin/activate
pip install 1cat_vllm-1.5.3+cu128-cp312-cp312-linux_x86_64.whl

27B(DFlash2),参数与 Docker 和 Studio 预设完全相同:

vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-dflash2 \
  --tensor-parallel-size 4 --dtype half --kv-cache-dtype fp8_e4m3 \
  --max-model-len 262144 --max-num-batched-tokens 4096 --max-num-seqs 8 \
  --gpu-memory-utilization 0.83 --attention-backend FLASH_ATTN_V100 \
  --enable-prefix-caching --partial-prefix-cache --mamba-cache-mode align \
  --block-size 2048 --mamba-block-size 2048 --prefix-cache-retention-interval 8192 \
  --mixed-prefill-step-latency-ms 0 --enable-prompt-tokens-details \
  --limit-mm-per-prompt '{"video": 0, "audio": 0}' --trust-remote-code --seed 0 \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
  --default-chat-template-kwargs '{"enable_thinking":true}' \
  --speculative-config '{"method": "dflash", "model": "/models/Qwen3.8-27B-DFlash2", "revision": "dedf8df68adfb1afeaf7b7480c0a0243108177b4", "num_speculative_tokens": 7, "kv_cache_dtype": "auto", "attention_backend": "FLASH_ATTN_V100", "draft_sample_method": "probabilistic", "enforce_eager": false}'

或者用 wheel 自带的启动脚本:

serve_qwen38_27b_nvfp4_v100.sh /models/Qwen3.8-27B-NVFP4 --draft /models/Qwen3.8-27B-DFlash2 --port 8000

27B(MTP4,不需要草稿模型)。前缀缓存的块大小、部分命中和保留间隔会自动设好,与 DFlash2 配方相同:

vllm serve /models/Qwen3.8-27B-NVFP4 --served-model-name qwen3.8-27b-mtp \
  --tensor-parallel-size 4 --dtype half --kv-cache-dtype fp8_e4m3 --max-model-len 262144 \
  --max-num-seqs 8 --max-num-batched-tokens 4096 --gpu-memory-utilization 0.83 \
  --attention-backend FLASH_ATTN_V100 --enable-prefix-caching --mixed-prefill-step-latency-ms 0 \
  --trust-remote-code --limit-mm-per-prompt '{"video": 0, "audio": 0}' --enable-prompt-tokens-details \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder --reasoning-parser qwen3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}'

Flash-Next(与 Docker、Studio 预设和 wheel 自带的 serve_flash_next_nvfp4_v100.sh 相同;--max-num-seqs 8 不能省):

vllm serve /models/Qwen3.8-Flash-Next-NVFP4 --served-model-name qwen3.8-flash-next-nvfp4 \
  --tensor-parallel-size 4 --dtype half --kv-cache-dtype float16 --language-model-only \
  --max-model-len 262144 --max-num-batched-tokens 4096 --max-num-seqs 8 \
  --gpu-memory-utilization 0.89 --attention-backend FLASH_ATTN_V100 \
  --enable-prefix-caching --partial-prefix-cache --block-size 2048 --mamba-block-size 2048 \
  --mixed-prefill-step-latency-ms 0 --mamba-ssm-cache-dtype float32 --enable-prompt-tokens-details \
  --trust-remote-code --seed 0 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --reasoning-parser qwen3 --default-chat-template-kwargs '{"enable_thinking":false}' \
  --kernel-config '{"sm70_hcx": true, "sm70_qsa_prep": true, "sm70_hcx_local_schedule": true, "qsa_host_kv": true, "qsa_host_kv_dtype": "fp8_e4m3", "qsa_host_kv_hot_dtype": "fp8_e4m3", "qsa_host_kv_hot_tokens": 32768, "qsa_host_kv_prefill_stage_tokens": 262144}' \
  --speculative-config '{"method": "mtp", "model": "/models/Qwen3.8-Flash-Next-mtp", "num_speculative_tokens": 4, "draft_sample_method": "greedy"}'

方式二:Docker

发布附件中的 Docker 构建包包含 Dockerfile、serve.sh、wheel、README-docker.md(英文版 README-docker.en.md)和校验值:

tar -xzf 1cat-vllm-1.5.3-docker.tar.gz && cd 1cat-vllm-1.5.3-docker
sha256sum -c SHA256SUMS
docker build -t 1cat/vllm-v100:1.5.3 .
docker run -d --runtime=nvidia --gpus all --network host --ipc=host --ulimit memlock=-1 \
  -e MODEL=27b -e PORT=8000 -v /data/models:/models:ro -v vllm-cache:/cache 1cat/vllm-v100:1.5.3

改成 MODEL=flashnext 即启动 Flash-Next。干净环境中,27B 首次启动约 5.5 分钟、再次启动约 2 分钟;Flash-Next 分别约 10.5 分钟和 6 分钟。

方式三:1Cat Studio

在 Studio 中安装 1.5.3 运行时即可。

已知限制

  1. Flash-Next 不加参数直接 vllm serve 会启动失败: 默认最大并发 256,超过了能放下的 Mamba 状态块数(报错 max_num_seqs (256) exceeds available Mamba cache blocks)。请加 --max-num-seqs 8;Docker、Studio 和自带启动脚本已经带上。下一版会根据显存自动压低。
  2. Flash-Next 250K 历史的多轮追问首字变慢: 完全命中 2.8 s、多轮追加 4.6 s(1.5.2 约 2.1 s);128K 及以下比 1.5.2 更快。原因还在排查。
  3. MTP 在温度大于 0 时每轮更慢: Flash-Next 单请求每轮多约 3.5 ms,8 并发时没有差别;27B MTP4 单请求多约 2.7 ms,8 并发时仍多约 3 ms。
  4. 27B(DFlash2)的 KV 容量比 1.5.2 少 8.8%: 启动时为图片输入预留了更多激活显存,1,434,850 → 1,308,270 token。显存里能同时放下的满 256K 请求从约 5.5 个降到约 5 个;MTP4 不加载草稿模型,有 1,598,295 token。
  5. Flash-Next 短对话的缓存命中粒度是 2048 token: 不足一个块的短对话不会命中。
  6. 最大并发为 8: 这是 256K 配置下的上限,更高并发需要缩短上下文。
  7. 长 prompt 进来时,正在输出的请求会短暂变慢: prefill 和 decode 目前在同一步中混合执行。
  8. 新启动的引擎,第一个温度大于 0 的请求慢约 3 秒: 采样相关的 Triton kernel 在这时才首次编译(27B 实测 4.4 s,之后 1.5–1.6 s),启动预热还没有覆盖温度大于 0 的路径。

回滚

  • wheel: 重新安装 1.5.2 wheel(SHA256 a27afc512cf29d4baa322366f92b32f1d0ddec6d7178b0bf4351ad00c1958baa)。
  • Studio: 两个版本的运行时可以同时安装,在模型配置中切回 1.5.2 运行时即可。
  • Docker: 保留旧镜像标签,切回旧标签启动。编译缓存与版本相关,新旧版本建议使用不同的缓存卷。

文件与校验

文件 SHA256
1cat_vllm-1.5.3+cu128-cp312-cp312-linux_x86_64.whl 0558021651c41ab111609d121cef029c09224de4b6e6f8fd362754dfdd84990f
1cat-vllm-1.5.3-docker.tar.gz 见 SHA256SUMS

wheel 构建自 main cb97f379b。

贡献者

感谢本版本的 13 位贡献者,以及所有提交问题和测试反馈的用户:

贡献者 合并的 PR
yangzhuxinyzx 39
Peuqui 23
ChainZeaxion 17
ProprietaryLegal 4
Leonccaa 4
rivetphilbot 3
kezboard233 3
squibloads 2
SabaTech-dev 1
pensandoz 1
Oaklight 1
Maxwell-Lyu 1
andrewleech 1