Repository navigation
HBFSim v0.1.2 优化加速版
本版整理了已验收的 HBF 推理优化、源码与构建指南、精确计时表和适用范围。优化配置按需启用,保留原有正常 HBF 模拟延迟;包括 PTX 输入核验缓存、分块读取、共享库摘要缓存和主机统一记账。同页合并、持久化 ELF 缓存及 provider API-activity 计时保持关闭。
| 主机计时部分 | 旧 r24 | 本次 | 旧耗时/本次耗时 |
|---|---|---|---|
| 初始化 | 1015.70 秒 | 363.54 秒 | 2.79× |
| 生成 | 5695.33 秒 | 108.21 秒 | 52.63× |
| 初始化+生成 | 6711.03 秒 | 471.76 秒 | 14.23× |
| 生成中的输出头,含 logits | 2411.04 秒 | 15.68 秒 | 153.73× |
这些数据来自两个不同 attempt、同一固定输入及两个输出 token;不是多次重复实验、单项优化的因果贡献或跨机器性能保证。范围验收包括 147 份注册 storage(49 份选择+98 份既有)、代表性实际地址与服务闭合、19 项同步主机计时及约定输出。未建立全张量、逐字节或全部专家消费的证明。
模型自然退出为 0。原批后处理失败记录保持 FAILED;独立离线修复通过范围验收,未重跑模型或 collector。原 ACK 覆盖 199 份文件。
项目既有 CPU 构建、测试和仓库检查 CI已在代码提交 ed6f5559673767bd620eb8174fdf61bdc7aa3639 上通过,保留原有测试排除项。本地源码包核验及整数/布局夹具通过 10,002 项检查。这些检查尚不能证明优化后 GPU 代码可从头完整重建,也不能证明另一台机器上的 GPU 加速倍率。
附件中的 425,433 字节压缩包包含增量源码与精简证据;需配合完整 v0.1.2 仓库使用,解压到 reproduction/。SHA256SUMS 用于核对原包。模型权重、生成或供应商 PTX、二进制缓存、大型 raw 日志与 SHM 快照不在发布附件中;原件保留并提供索引。本次文档更名未修改源码标签、压缩包字节、模拟参数或实验数据,也未新增 GPU 实验。
English
HBFSim v0.1.2 — Optimized Edition packages the accepted optional HBF inference optimizations, source/build instructions and compact timing evidence. Nominal HBF waits and simulator parameters are preserved. The measured initialization-plus-generation interval is 471.76 s versus 6711.03 s in the historical r24 attempt (14.23×); this is one fixed prompt and two output tokens across different attempts, not a general or cross-machine guarantee. Existing project CPU CI passed; a complete clean optimized-GPU rebuild and cross-machine GPU performance remain unverified. The original code tag and source archive are unchanged; the linked documentation adds the clearer edition name.