Repository navigation
Releases: yxhpy/qwen3.8-flash-next-local-deploy
Releases · yxhpy/qwen3.8-flash-next-local-deploy
Release list
v1.2.0 实测调度优化与长会话缓存验证
部署指南与实测数据更新。运行引擎仍为 Strata 0.1.44.1;这不是 Strata 引擎的 v1.2.0。
RTX 4080 SUPER 16 GB + i7-12700 + 64 GB DDR4-3200,Qwen3.8-Flash-Next SC117 GSQ-RCO IQ3_XXS,FP16 KV / 256K 上下文保持原样,仅调整任务粒度和复制调度。
| 生成场景 | 原设置 token/s | 优化后 token/s | 提升 |
|---|---|---|---|
| 短文本 | 73.35 | 81.65 | 11.3% |
| 代码 | 81.65 | 88.25 | 8.1% |
| 8K 输入后生成 | 76.30 | 81.35 | 6.6% |
每侧每类 4 次正式测量,A-B-B-A 顺序,12/12 配对更快。首次读取长文本的速度基本不变。
配置和一致性
args新增或更新--pool-tasks 192,工作线程数不变。env合并STRATA_ADAPT_OVERLAP=1、STRATA_ADAPT_OVERLAP_RESIDENT=1。- 固定双方相同执行计划后,11/11 样本的文本、首步全词表 float32 数值、完整保存状态一致。该诊断计划没有安装到线上;不声称自动策略下任意请求输出都逐字一致,也不替代完整质量评测。
- 原有 103765 token 会话恢复,完整快照 SHA256 与维护前一致。
缓存和 GPU 解锁
- 相同续问的缓存单次对照:约 3.3 万 token 首字 19.53→1.28 秒;约 10.3 万 token 60.07→2.52 秒。包含缓存恢复,不含模型加载。这是上下文复用收益,不是调度或 GPU 算力的倍数提升。
- GPU 解锁独立实验:FP16/FP32 Tensor 微测试接近 2 倍,FP16/BF16 GEMM 约 +60.7%–92.2%;所测 Qwen 生成为 −4.3% 至 +1.3%,未见稳定收益。已恢复正常未解锁 GPU 启动。
此次发布内容
- 完整方法、配置、对照与局限。
- 249 条合成生成记录与汇总,包含预热与筛选,不是 249 组独立 A/B。
- 3 张 PNG / SVG 数据图、汇总复核与绘图脚本。
- 更新 README 和完整部署说明,明确旧版 46 GB 配置与本次 64 GB 配置的区别,并纠正旧文档中的 KV 基线表述。
附件 strata-benchmark-data-20261026.zip 包含公开记录、方法、图表与复核脚本;SHA256SUMS.txt 可校验附件。未包含主机地址、访问凭据、业务对话、模型权重或解锁安装包。
v1.1.0(2026-10-21)
首个 release。10-14 的初版视为 v1.0。
变化
- docs/full-chain.md 按线上配置更新:64 GB 内存、Strata v0.1.44.1、256K 上下文、专家全部锁页常驻(
--resident-experts),会话缓存(--conversation-cache-mib 12288、4 个槽、短于 4096 token 不占槽)、--prompt-cache-tail、MALLOC_MMAP_THRESHOLD_=16777216、显式sampling;新增两条踩坑(停放被拒、显存不足 512 MiB 警告)。 - README.md 加了 2026-10-21 更新说明,原实测正文不变。
- 新增 tools/:
strata_cache_stats.sh:冷读、会话缓存停放 / 恢复、引擎堆内存统计strata_ab.py:多个 Strata 版本 / 开关的速度和输出对比strata_cache_soak.py:会话缓存浸泡测试
实测结论(RTX 4080 SUPER 16 GB + 64 GB DDR4,IQ3_XXS)
- 会话缓存调优后,23 小时线上统计:≥32K 冷读每天 16.4 → 7.3 次,冷读耗时约 −67%,内存保底拒绝停放 96 → 0。
- Strata v0.2.1(sm_89 自编):默认配置 decode 约 −8%;缓存浸泡测试恢复 8/20(v0.1.44.1 为 10/20),引擎堆内存 6.25 vs 3.17 GiB 且不回落,疑似 Strata #3115。暂时不升级。均为单次测试。
