Skip to content

v0.1.4

Choose a tag to compare

View all tags
@github-actions github-actions released this 25 Apr 00:20
· 44 commits to main since this release
v0.1.4
b4dd4b9

v0.1.4 — Blackwell (RTX 50 系) 支持修复

修复

iso3 检测超时延长

  • RTX 5070 Ti / 5080 / 5090 (SM120/SM121 Blackwell 架构) 首次运行时需要 PTX JIT 编译 CUDA kernel
  • 原超时 10 秒不够，误判为"不支持 iso3"，回退到 q8_0 KV cache，导致 16GB VRAM 无法运行 14GB 模型
  • 超时从 10 秒延长到 60 秒，覆盖 JIT 编译延迟

Blackwell 首次启动提示

  • 检测到 RTX 50 系 GPU 时，preflight 阶段打印：
    ⚠ RTX 50 系首次启动需要 JIT 编译 (~30s)，请稍候...
  • 避免用户以为程序卡死

背景

CUDA 12.4 没有 SM120 的预编译 kernel，Blackwell 用户每次启动都需要 PTX JIT 编译。
iso3 检测用 --help 触发这个编译，10 秒超时不够，导致误判 → 大 KV cache → OOM。

Full Changelog: v0.1.3...v0.1.4

Assets 4
Loading