Repository navigation
v0.1.3-looma19
·
6 commits
to looma/bf16-experts
since this release
qwen3_5_moe: fp8-эксперты на стадии конвейера адресуются банком стадии.
Qwen/Qwen3.8-Flash-Next-FP8 нулевым рангом конвейера падала на своём слое 0 (unexpected routed-expert layer): плотный префикс считался как num_layers - num_moe_layers, а на стадии второе — только её слои.