Repository navigation
Releases: fishensw/VLLM-SM75
Release list
vLLM-SM75 v0.1.7 beta2
统一 vllm-sm75:v0.1.7-ultra-beta2，保留 Flash Next 与原有 27B 支持。
- 优化完整 Ultra 镜像构建，本地镜像由 44.72 GB 缩至 27.95 GB，保留原版 vLLM、依赖和 SM75 优化。
- 整合 Flash Next TP4 的 HC GEMV=0、PCIe-IPC=1；保留 27B FP8/AWQ/NVFP4、MTP/DFlash2/DSpark、FP8 KV 与 CPU KV。
- BenchLocal 默认六项统一为工具调用、信息提取、指令遵循、推理数学、代码修复、Agent 任务，共 95 题；修复模型测试页签与快捷选择的选中框。保留九类测试、逐题结果、雷达图及导入导出，同一 Ultra 镜像最多一个按需执行容器。
- 完善运行配置管理、API 地址 / Key 复制、监控和界面布局。
构建与启动 · 模型参数模板 · BenchLocal
本次为源码预发布，镜像按文档本地构建。仅 API 运行仍使用同一 Ultra 镜像，设置 SM75_EDITION=standard。
vLLM-SM75 v0.1.7 beta
统一 vllm-sm75:v0.1.7-ultra-beta，整合 Flash Next 与原有27B支持。
- Flash Next W4A16 / FP8 PLE：QSA、FP8 KV、PLE投影驻留GPU，支持TP8无MTP/MTP3、256K单路及并发4混合负载。
- 保留27B FP8/AWQ、MTP/DFlash2及原有推理功能；模型模板在Docker参数和Ultra面板中共用。
- 包含beta Debug控制台修复：初始化/配置切换恢复、API Key同步、配置列表刷新及Prefill/Decode计时。
本次为源码预发布，Docker镜像按文档本地构建。仅API运行也使用同一Ultra镜像，设置 SM75_EDITION=standard。
vLLM-SM75 v0.1.6
适配 vLLM 0.30.0，保留 SM75、GDN、FP8 KV、Firefly、自动休眠和监控等原有功能。标准版提供推理 API，Ultra 增加 Web 管理、快速会话和工作台。
主要更新
- DFlash2 修复：回移量化 context KV、草稿权重映射和 CUTLASS 能力判断修复，SM75 的相关 FP8 路径回退到 Marlin。
- 编译缓存隔离：避免复用不匹配的内核选择和权重布局缓存。
- 长上下文配置：新增 YaRN、每卡 GPU KV 和整组 CPU KV 独立设置。
- LMCache 分层缓存：可选 CPU L1、磁盘 L2 与重启复用，默认不安装、不启用。
- Ultra 更新：升级 Harness 0.1.7-alpha.2，固定 Node 22.23.2 与 pnpm 11.7.0；新增上下文和缓存配置区。
vLLM-SM75 v0.1.5
基于 vLLM 0.29.0，本次新增运行中投机解码开关，默认采用 P-State 常驻省电，修复监控缓存问题，并增加可选的 ultra 版本。
源码修正（工作台插件加载）：已修复 PDF 预览插件字符串损坏导致的
Failed to load plugins，并加入全部前端插件的构建语法检查。首次安装请使用最新main或附件 vllm-sm75-v0.1.5-source-fixed.zip，校验文件为SOURCE-FIX-SHA256SUMS。原 v0.1.5 标签和首次发布的源码归档未包含此修复。
本次更新：
- 运行中开关投机解码：在
/monitor查看状态并切换草稿计算，无需重启模型；关闭后草稿模型仍驻留显存。需在启动时配置草稿模型与 SM75Scheduler。 - 默认常驻 P-State：空闲进入 P8，负载恢复高态 16，模型保持加载。自动休眠 exit 保留为可选模式，两种模式均可配置参数。
- 监控缓存修复：修复启用监控看板导致推理编译缓存失效的问题。
- 新增 ultra 版本：在标准版推理服务上增加 Web 管理、快速会话和工作台。
ultra 新增功能
ultra 包含标准版推理服务，并增加以下功能：
- 一体化 Web 管理：新增模型库、运行配置、快速会话、DSH 工作台和性能监控页面。
- Web 登录与会话：首次启动生成随机 token，支持局域网登录和会话恢复。
- 统一实时页头：快速会话与工作台在相同位置显示运行状态、GPU 温度/功耗、核心/显存占用、P/D、KV 和命中。
- 模型生成参数：显示服务默认数值，提供 Qwen3.8-27B 思考/非思考推荐，支持存在惩罚、自定义参数及恢复服务默认。
版本选择
只需要推理 API，或已有聊天客户端/管理平台，选标准版；希望在浏览器中管理模型、直接聊天和使用工作台，选 ultra。
| 项目 | 标准版 v0.1.5 | v0.1.5-ultra |
|---|---|---|
| 定位 | 推理服务 | 推理服务 + 一体化 Web 管理与工作台 |
| SM75 推理、FP8/AWQ、MTP/DFlash2、CPU KV | 支持 | 相同推理基座 |
| 运行中投机开关、P-State / 可选 sleep | 支持 | 支持 |
| 配置方式 | 启动脚本、环境变量和命令行参数 | Web 模型库与运行配置 |
| 监控 | 引擎 /monitor |
引擎监控 + 管理页实时状态 |
| Web token 登录、会话恢复 | 不包含 | 包含 |
| 快速会话、DSH 工作台 | 不包含 | 包含 |
| 默认端口 | 推理 API / monitor：8000 | 管理 / 聊天 / 工作台：1615；推理 API：8000 |
| 本地构建镜像 | vllm-sm75:v0.1.5 |
vllm-sm75:v0.1.5-ultra |
ultra 增加管理和交互功能，不代表推理内核更快。两版按需要选择一个部署即可；标准版不需要安装 ultra 才能提供推理 API。
推荐使用
现有 FP8 DFlash2 TP4 部署保持原模型路径、draft7、seq4、batch8192、GPU utilization 0.92、最大长度 262144、FP8 e4m3 KV、每卡 KV 3288334336 bytes、CPU KV 8 GiB、capture [8]。这是本次回归配置，不等同于启动脚本所有模式的默认值，也不是其他卡数的通用显存预算。
默认使用常驻 P-State（空闲 P8 / 负载回 16），保持模型加载，须准备匹配宿主驱动的 NVAPI 库。自动休眠 exit 保留为可选模式，选择 POWER_MODE=sleep 后默认空闲 30 分钟；休眠参数继续支持配置。同一 GPU 仅运行一个电源管理实例。完整命令见 统一构建运行、FP8 推荐配置 和 休眠说明。需要 Web 管理、快速会话和工作台时选择 ultra，两者共用推理基座。
电源模式参数
ultra 配置界面默认“常驻 P-State（默认；空闲 P8 / 负载回 16）”，保留“自动休眠（exit，可选）”。已有保存的配置不强制改写。
| 常驻 P-State 参数 | 标准版环境变量 |
|---|---|
| 空闲进 P8（秒） | PSTATE_IDLE_TIMEOUT |
| 负载阈值（%） | PSTATE_UTIL |
| 确认时长（秒） | PSTATE_CONFIRM |
| P8 值 / 高态值 | PSTATE_LOW / PSTATE_HIGH（默认 8 / 16） |
| 轮询间隔（秒） | PSTATE_POLL |
切换为自动休眠时，继续配置 AUTO_SLEEP_IDLE_TIMEOUT（分钟）、AUTO_SLEEP_OFFLOAD_TARGET（默认 exit）以及适用模式的恢复/缓存参数。P-State 的秒数与 sleep 的分钟数不能混用；只启用所选电源模式，不叠加运行。
性能参考
以下沿用 v0.1.4 历史实测，不是 v0.1.5/ultra 的新实测数据。PCIe 3.0 ×8，4× Tesla T10 16 GiB，TP4，DFlash2 draft7；每项单轮、512 输出 tokens、无前缀命中，Prefill 按输入 tokens/首字时间计算。
补充参考：据群友实测反馈，PCIe 3.0 ×16 下 Prefill 极限约 1800 tok/s。
| 配置 | 输入 | Prefill（tok/s） | Decode（tok/s） | 首字时间（秒） |
|---|---|---|---|---|
| FP8 DFlash2 | 32K | 1205.85 | 179.12 | 27.17 |
| FP8 DFlash2 | 128K | 978.19 | 166.39 | 133.99 |
| AWQ DFlash2 | 32K | 1433.67 | 215.57 | 22.86 |
| AWQ DFlash2 | 128K | 1124.88 | 198.40 | 116.52 |
重复文本的高草稿接受率不代表日常聊天速度；FP8 与 AWQ 参数不同。完整条件见 FP8 数据、AWQ 数据。本版回归与长上下文检查另见 验证记录。
更新与发布
从仓库根目录运行 bash docker/build.sh 构建标准版；EDITION=ultra bash docker/build.sh 在相同标准基座上构建 ultra。完整构建使用独立构建机；已验证的隔离 Unraid 构建过程及限制见构建指南。
升级保留模型、编译缓存、API key 和原启动参数；使用独立候选标签，验收后切换，保留原镜像 ID 与挂载用于回退。启动脚本不会自动停止或删除现有容器。源码包及校验文件见 v0.1.5 Release；Docker 镜像需自行构建，生产升级由部署者按上述步骤执行。
ultra 首次登录
在 Docker 宿主机终端执行，复制输出 token 到 http://<局域网IP>:1615 登录（自定义容器名请替换）：
docker exec vllm-sm75-ultra node /opt/sm75-workbench/console/auth-cli.mjs show自动密钥位于容器 /data/key，对应宿主机 <ULTRA_DATA_ROOT>/console/key；与模型 API key 分开。
vLLM-SM75 v0.1.4
主要变化
- Firefly prefill 加速：提升 AWQ INT4 长文本处理吞吐。
- FP8 all-reduce 优化：降低多卡通信开销，提升 prefill 性能。
- 自动休眠适配：保留低功耗待机与自动唤醒，加固并发处理。
- 新增
/monitor看板：直接查看运行状态和性能指标。 - 跟进 vLLM 0.29.0 适配。
兼容性修复
修复DFlash2权重加载与KV布局接口、CPU KV草稿分组识别，补充输入/采样预热和持久化编译缓存挂载。
使用与验证
整合镜像已完成完整构建（48 项测试通过）、AWQ DFlash2 启动、API 与单请求检查，首次请求无 JIT 警告。FP8/AWQ 性能数据及测试范围见验证记录。
下载文件
Assets 中的 vllm-sm75-v0.1.4-source.zip、vllm-sm75-v0.1.4-source.tar.gz 为本标签的完整项目源码构建包，不是预构建 Docker 镜像；SHA256SUMS.txt 提供校验值。解压后按构建说明生成 vllm-sm75:v0.1.4。升级时保留模型、编译缓存挂载及原推理参数。本地快速构建需要配套源码挂载。
vLLM-SM75 v0.1.3
vLLM-SM75 v0.1.3 — 自动休眠适配
更新简要
- 新增空闲自动休眠与透明唤醒，
docker/run.sh默认空闲 30 分钟后进入exit深度休眠。 - 修正空闲计时起点，使计时从请求完成并进入 idle 后开始。
功能要点
- 继承 v0.1.2 的 FlashQLA-SM75 GDN prefill、Triton decode、FlashInfer 0.6.18、Marlin FP8、FP8 KV、MTP5 和 DFlash2 适配。
- 支持 ModelScope、模型缓存与 vLLM/FlashInfer 编译缓存持久化。
- 统一镜像通过启动参数选择普通推理、MTP5 或 DFlash2。
- 自动休眠支持 CPU、reload 和 exit；exit 模式释放引擎进程、CUDA context、worker 和显存，下一请求透明冷启动。
已完成的本地验证
镜像内 selector/auto-sleep 测试 44 项全部通过。基于 FP8 MTP5 的 exit 模式实测：自动卸载后四卡均进入 P8、每卡显存 3 MiB，平均功耗约 10–15 W；透明唤醒和并发请求恢复通过。
完整条件与原始数据见 v0.1.3 验证记录。
vLLM-SM75 v0.1.2
更新简要
- 保留 FlashQLA-SM75 GDN prefill、Triton decode、FlashInfer 0.6.18、Marlin FP8 和 FP8 KV 支持。
- 适配 SM75 CUDA Graph，融合 GDN 状态准备，减少投机验证及调度开销。
- 优化原生 MTP 验证路径，提供 MTP5 配置。
- 完善 DFlash2 的 SM75 数值兼容、AWQ 数据类型及 TP4 处理。
- 修复 FP8 加载 draft 时的显存分配压力。
- 支持 ModelScope、模型与编译缓存持久化。
vLLM-SM75 v0.1.1
v0.1.0 的补丁更新，完善 ModelScope 默认配置和容器缓存持久化，不改变现有 SM75 内核及性能配置。
更新内容
- 默认启用
VLLM_USE_MODELSCOPE=true。 - 默认设置
MODELSCOPE_CACHE=/root/.cache/modelscope/hub。 - 启动示例增加 ModelScope 模型、vLLM
torch.compile/AOT 和 FlashInfer JIT 缓存持久化。
vLLM-SM75 v0.1.0
首个可复现发布版本，基于官方 vLLM v0.28.0，为 SM75 补充 GDN 兼容支持与相关内核优化。
主要内容
- FlashQLA-SM75 GDN prefill + Triton decode。
- FlashInfer 0.6.18 full-attention，SM75 sampling 回退到 vLLM 原生实现。
- 保留 Marlin FP8、FP8 E4M3 KV cache、prefix cache、async scheduling、CUDA Graph 和 CPU KV offload。
- 提供完整 Dockerfile、中英文文档，以及克隆、构建、启动和 API 验证命令。
验证环境
- 4 x Tesla T10 16 GiB / SM75
- CUDA 12.9 / PyTorch 2.13.0 / TP4
- Qwen/Qwen3.8-27B-FP8
实测结果
- Cold TTFT：1.9562 s → 1.7082 s，提升 12.68%。
- Prefix-cached TTFT：0.5064 s → 0.4378 s，提升 13.55%。
- Decode：39.6289 → 39.6306 token/s，基本持平。
完整复现步骤见 中文 README。