Skip to content

Releases: cookiesheep/univis

v0.6.2 — PyPI 页面图片修复

Choose a tag to compare

@cookiesheep cookiesheep released this 20 Aug 08:35

README 正文图片改为画廊绝对 URL(修复 PyPI 项目页相对路径 404)。功能与 v0.6.1 一致。PyPI: pip install univis==0.6.2

v0.6.1 — sparsity 修复、多卡支持、L20 27B 基线

Choose a tag to compare

@cookiesheep cookiesheep released this 20 Aug 06:06

修复

  • sparsity 签名回归缺陷(c11d423 引入):hidden_out 被误作阈值传入稀疏度函数,单设备下静默产出错误值、多卡下显式报错。已修复并加回归测试(测试 82→83)。已发布数据的勘误与范围说明见 docs/mxmaca/phase-b/README.md——全部已发布 r 值仅基于 relative_delta 与 cosine,不受影响
  • 成对指标设备对齐:支持 device_map='auto' 多卡分片(在 Qwen3.6-27B × 双 L20 上端到端验证)

数据

  • L20 侧 multi-prompt 以修复版重采
  • Qwen3.6-27B L20 基线入库(10 提示词,451 步 × 64 层);C500 侧待整机实例

PyPI: pip install univis==0.6.1

v0.6.0 — MetaX C500 阶段 A+B 验证、窗口化 early-exit、批量指标回传

Choose a tag to compare

@cookiesheep cookiesheep released this 19 Aug 16:02

亮点

国产算力(MXMACA)阶段 A + B 完成

  • 阶段 A:Qwen2.5-0.5B 在沐曦曦云 C500(模力方舟,16GB sGPU 切分实例)完整生成,24 层指标全量采集,零代码修改。证据:docs/mxmaca/phase-a/
  • 阶段 B:0.5B / 3B / 7B 三个规模与 NVIDIA L20 同协议对照,层级冗余画像一致性 Pearson r ≥ 0.9998——冗余结论跨硬件可迁移。7B(bf16 15.3GB)意外跑通 16GB 切分。证据:docs/mxmaca/phase-b/

Pilot early-exit:窗口判据 + 首批实测权衡数据

  • 实测发现:朴素逐 token 熵阈值在聊天模型上不可用(格式化 token 形成散布的超低熵簇,任何阈值都会过早截断)
  • 新增 PilotPolicy.entropy_window:连续 N 步低熵才触发退出,得到单调可控的权衡曲线(保守档省 9% token 保留 93% 内容,激进档省 66% 保留 42%)

性能:采集开销修复(C500 实测驱动)

  • 旧实现每层每 token 2 次全张量 .cpu() 同步,多层数下开销 +400~486%;改为设备端张量化指标 + 每步单次批量回传后降至 +55% 量级,指标数值逐位一致

其他

  • 测试 80 → 82(窗口判据单元测试)
  • GitHub Actions CI(Python 3.10/3.12,transformers 5.x 兼容)
  • scripts/phase_b_run.py + scripts/compare_hardware.py:跨硬件对照协议与分析工具

完整变更: 见 docs/mxmaca/ 证据档案。