Skip to content

v0.1.2 — HBFSim 优化加速版

Latest

Choose a tag to compare

@vickiegpt vickiegpt released this 23 Oct 04:41

HBFSim v0.1.2 优化加速版

本版整理了已验收的 HBF 推理优化、源码与构建指南、精确计时表和适用范围。优化配置按需启用,保留原有正常 HBF 模拟延迟;包括 PTX 输入核验缓存、分块读取、共享库摘要缓存和主机统一记账。同页合并、持久化 ELF 缓存及 provider API-activity 计时保持关闭。

主机计时部分 旧 r24 本次 旧耗时/本次耗时
初始化 1015.70 秒 363.54 秒 2.79×
生成 5695.33 秒 108.21 秒 52.63×
初始化+生成 6711.03 秒 471.76 秒 14.23×
生成中的输出头,含 logits 2411.04 秒 15.68 秒 153.73×

这些数据来自两个不同 attempt、同一固定输入及两个输出 token;不是多次重复实验、单项优化的因果贡献或跨机器性能保证。范围验收包括 147 份注册 storage(49 份选择+98 份既有)、代表性实际地址与服务闭合、19 项同步主机计时及约定输出。未建立全张量、逐字节或全部专家消费的证明。

模型自然退出为 0。原批后处理失败记录保持 FAILED;独立离线修复通过范围验收,未重跑模型或 collector。原 ACK 覆盖 199 份文件。

项目既有 CPU 构建、测试和仓库检查 CI已在代码提交 ed6f5559673767bd620eb8174fdf61bdc7aa3639 上通过,保留原有测试排除项。本地源码包核验及整数/布局夹具通过 10,002 项检查。这些检查尚不能证明优化后 GPU 代码可从头完整重建,也不能证明另一台机器上的 GPU 加速倍率。

附件中的 425,433 字节压缩包包含增量源码与精简证据;需配合完整 v0.1.2 仓库使用,解压到 reproduction/。SHA256SUMS 用于核对原包。模型权重、生成或供应商 PTX、二进制缓存、大型 raw 日志与 SHM 快照不在发布附件中;原件保留并提供索引。本次文档更名未修改源码标签、压缩包字节、模拟参数或实验数据,也未新增 GPU 实验。

English

HBFSim v0.1.2 — Optimized Edition packages the accepted optional HBF inference optimizations, source/build instructions and compact timing evidence. Nominal HBF waits and simulator parameters are preserved. The measured initialization-plus-generation interval is 471.76 s versus 6711.03 s in the historical r24 attempt (14.23×); this is one fixed prompt and two output tokens across different attempts, not a general or cross-machine guarantee. Existing project CPU CI passed; a complete clean optimized-GPU rebuild and cross-machine GPU performance remain unverified. The original code tag and source archive are unchanged; the linked documentation adds the clearer edition name.