Skip to content

Releases: yxhpy/qwen3.8-flash-next-local-deploy

v1.2.0 实测调度优化与长会话缓存验证

Choose a tag to compare

@yxhpy yxhpy released this 26 Oct 15:11

部署指南与实测数据更新。运行引擎仍为 Strata 0.1.44.1;这不是 Strata 引擎的 v1.2.0。

RTX 4080 SUPER 16 GB + i7-12700 + 64 GB DDR4-3200,Qwen3.8-Flash-Next SC117 GSQ-RCO IQ3_XXS,FP16 KV / 256K 上下文保持原样,仅调整任务粒度和复制调度。

生成场景 原设置 token/s 优化后 token/s 提升
短文本 73.35 81.65 11.3%
代码 81.65 88.25 8.1%
8K 输入后生成 76.30 81.35 6.6%

每侧每类 4 次正式测量,A-B-B-A 顺序,12/12 配对更快。首次读取长文本的速度基本不变。

调度优化实测

配置和一致性

  • args 新增或更新 --pool-tasks 192,工作线程数不变。
  • env 合并 STRATA_ADAPT_OVERLAP=1、STRATA_ADAPT_OVERLAP_RESIDENT=1。
  • 固定双方相同执行计划后,11/11 样本的文本、首步全词表 float32 数值、完整保存状态一致。该诊断计划没有安装到线上;不声称自动策略下任意请求输出都逐字一致,也不替代完整质量评测。
  • 原有 103765 token 会话恢复,完整快照 SHA256 与维护前一致。

缓存和 GPU 解锁

  • 相同续问的缓存单次对照:约 3.3 万 token 首字 19.53→1.28 秒;约 10.3 万 token 60.07→2.52 秒。包含缓存恢复,不含模型加载。这是上下文复用收益,不是调度或 GPU 算力的倍数提升。
  • GPU 解锁独立实验:FP16/FP32 Tensor 微测试接近 2 倍,FP16/BF16 GEMM 约 +60.7%–92.2%;所测 Qwen 生成为 −4.3% 至 +1.3%,未见稳定收益。已恢复正常未解锁 GPU 启动。

此次发布内容

附件 strata-benchmark-data-20261026.zip 包含公开记录、方法、图表与复核脚本;SHA256SUMS.txt 可校验附件。未包含主机地址、访问凭据、业务对话、模型权重或解锁安装包。

v1.1.0(2026-10-21)

Choose a tag to compare

@yxhpy yxhpy released this 20 Oct 16:05

首个 release。10-14 的初版视为 v1.0。

变化

  • docs/full-chain.md 按线上配置更新:64 GB 内存、Strata v0.1.44.1、256K 上下文、专家全部锁页常驻(--resident-experts),会话缓存(--conversation-cache-mib 12288、4 个槽、短于 4096 token 不占槽)、--prompt-cache-tail、MALLOC_MMAP_THRESHOLD_=16777216、显式 sampling;新增两条踩坑(停放被拒、显存不足 512 MiB 警告)。
  • README.md 加了 2026-10-21 更新说明,原实测正文不变。
  • 新增 tools/:
    • strata_cache_stats.sh:冷读、会话缓存停放 / 恢复、引擎堆内存统计
    • strata_ab.py:多个 Strata 版本 / 开关的速度和输出对比
    • strata_cache_soak.py:会话缓存浸泡测试

实测结论(RTX 4080 SUPER 16 GB + 64 GB DDR4,IQ3_XXS)

  • 会话缓存调优后,23 小时线上统计:≥32K 冷读每天 16.4 → 7.3 次,冷读耗时约 −67%,内存保底拒绝停放 96 → 0。
  • Strata v0.2.1(sm_89 自编):默认配置 decode 约 −8%;缓存浸泡测试恢复 8/20(v0.1.44.1 为 10/20),引擎堆内存 6.25 vs 3.17 GiB 且不回落,疑似 Strata #3115。暂时不升级。均为单次测试。