EPYC 96核机器上 g1-wbt-dance 48→96核扩展效率的瓶颈定位：SMU 负载相关降频

[wlgys8]

EPYC 96 核机器上 g1-wbt-dance 48→96 核扩展效率的瓶颈定位：SMU 负载相关降频（附等时钟判决实验方法）

现象

在单路 EPYC 96 物理核（192 逻辑核、单 NUMA 节点）机器上，按正式协议测量 g1-wbt-dance 的完整 env.step() 吞吐：

• 协议：单进程单 collector、no-SMT（48核=CPU0-47，96核=CPU0-95）、B=256 envs/核（48核 B12288 / 96核 B24576）、TBB 线程层、warmup 100 / timed 1000、dt=0.005、solver iterations 3、physical substeps 4。
• 多轮交错复测结果：T48 ≈ 151.6k env-steps/s，T96 ≈ 241.8k env-steps/s，扩展效率 T96/(2·T48) ≈ 0.80，距离理想 1.0 有明显差距，且 96 核侧方差较大（226k–256k）。

排查过程（要点）

1. 不是调度空转：用 /proc/<pid>/task/*/schedstat（ns 级精确 CPU 时间）实测，48 核与 96 核配置在计时区内所有核均 ~99% 满载。
2. 不是工作差异：perf 计数器显示两种配置完成相同工作量执行的指令总数一致（~718k 指令/env-substep）。
3. 不是 batch/工作集效应：固定 B=12288（总访存流量与工作集完全相同）时 96 核每核速率仍慢 ~15%。
4. 不是带宽争用：STREAM triad 96 核仅 1.29x 扩展，但 physics 实际访存强度远低于带宽墙（L2 miss 仅约 0.03%/指令）。
5. 芯片本身有能力满频 96 核：四种合成负载（FP 依赖链、标量 FMA 吞吐、AVX-512 FMA、内存流）在 96 核满载下每核速率均为 1.00x，perf 实测 3.70GHz——降频只在真实 physics 负载下出现，说明是负载特性（高 IPC + 重访存混合的电流/功耗画像）触发，而非核数固定策略。
6. 排除的软件路径（均无效或两端对称）：并行分块参数扫描、AVX-512 重编译、求解器数据布局调整、分配器替换等。

判决实验：强制同频

用 root 将全局 cpufreq/boost 置 0，把 48 核与 96 核都钉死在 2.4GHz 标称频率（绕过 boost 自治区），交错两轮测量 physics 吞吐：

配置	耗时（两轮）	结果
48核 B12288	100.50 / 99.48 ms	基准
96核 B12288（固定B）	50.63 / 50.25 ms	加速 1.983x，eff 0.9915
96核 B24576（B翻倍）	100.98 / 100.42 ms	eff 0.986

等时钟下扩展效率 ≈ 0.99：内存争用、IPC、调度等软件侧因素合计 <1%。

结论

96 核 ~15% 的每核速率损失全部来自 AMD SMU 的负载相关全核降频：该 physics 负载下 48 核约获 3.18GHz、96 核约 2.86GHz（频率比 ≈ 0.90，与实测效率吻合）。注意两个易踩的坑：

• scaling_cur_freq sysfs 快照会显示 3.7GHz，不代表有效执行频率（请求频率≠交付频率）；perf cycles/task-clock 对多线程进程附着测量也有伪影，本调查早期曾因此两次得出错误结论，最终全部改用 wall-time 与 schedstat 交叉验证。
• 机器存在分钟级时间漂移（同配置 ±10%），任何 A/B 结论必须同窗口交错测量，跨时间对比会产生假阳性（我们曾先后“发现”双进程更快、两次提交更快等假象，背靠背复测后全部消失）。

对使用者的建议

• 在这类 dense EPYC 上做 48→96 核扩展评估时，建议同时报告每核有效频率（可用等时钟法或合成负载探针标定），否则扩展效率数字难以归因；
• 若需进一步提升，方向在固件/BIOS 侧（cTDP/PPT 功耗预算、Determinism 模式），应用软件层在该负载上已无显著空间；
• 复现脚本与方法基于 bench/bench_physics.py 与完整 WBT driver 的测量框架即可搭建，欢迎交流。