Skip to content

Abyss v1.3.88 — Qwen3.8-Flash-Next の長いプロンプトが速く(8K +52%、32K +76%)

Choose a tag to compare

@zephel01 zephel01 released this 31 Oct 16:51
· 373 commits to main since this release

Qwen3.8-Flash-Next で、長いプロンプトを読む速さが大きく上がりました。RTX 5090(PCIe Gen4 x4)、ISTA-DASLab GSQ-RCO IQ3_S で、v1.3.87 と v1.3.88 のビルドを交互に測りました(./abyss.sh --bench --full、文脈 65536)。

プロンプト v1.3.87 v1.3.88
2K トークン 1,061〜1,120 tok/s 1,145〜1,202 tok/s(+5%)
8K トークン 1,477〜1,561 tok/s 2,240〜2,376 tok/s(+52%)
32K トークン 1,702〜1,720 tok/s 3,002〜3,027 tok/s(+76%)

45.5K トークンのプロンプト(埋めた答えを探すテスト)は、1 本 26〜29 秒 → 14〜17 秒になりました。答えは新旧とも 3 回中 3 回見つかっています。答えを出す速さ(decode)は変わりません。品質も KL 0.0022 のままです。

  • プロンプトの疎なアテンション(QSA の 12 層で、2,051 セルより後の行)を、64 行まとめて 1 回で処理するようにしました。
    • これまでは、行ごと・層ごとに「選んだセルを集める」と「アテンション」を GPU に頼んでいました。
    • 今は、各行が選んだセルを KV キャッシュから直接読みます。同じ KV グループの 6 ヘッドで、K/V の読み込みを使い回します。
    • 出力は前とビット単位で同じです(qsa_rows_parity で、文脈 8K / 32K、選ぶセル 4〜2,051 個で確かめました)。
    • インデクサのキーの追加も、1 トークンずつではなく、サブバッチごとに 2 回の処理にまとめました。結果は同じバイトです。
    • 12K トークンの測定で、この部分は 2,000 ms → 346 ms になりました。
    • STRATA_Q4X_QSA_BATCH=0 で、元の処理に戻ります。HIP では既定でオフです(コンパイルは確認済み。AMD のカードでは動かしていません)。
  • GDN(delta-net)の中間の処理(q/k の正規化、ゲート、再帰、出力の正規化、q8_1)を、1 回の処理にまとめました。
    • 1 トークンずつの経路では 1 回、検証窓では 3 回分を 1 回にしています。出力はビット単位で同じです(gdn_core_parity)。
    • 1 トークンあたり約 0.09 ms 縮みましたが、答えの速さは揺れの範囲内でした。
    • STRATA_Q4X_GDN_FUSE=0 で、元の処理に戻ります。HIP では既定でオフです。
  • --bench のドラフターの確認が、ほぼ同点の入れ替わりを「TOO EARLY」と報告しなくなりました。
    • ドラフターありとなしの答えが最初の 12 トークン以内で分かれたとき、同じ書き出しのあとの 2 つのトークンを、モデルに採点させます(LOGP)。
    • 差が 1 nat 以内なら、ほぼ同点の入れ替わりとして問題なしにします。それより離れていれば、これまでどおり TOO EARLY です。
    • 5090 では、分かれた場所の差は 0.01〜0.13 nats でした。間違ったトークンだと、18〜28 nats も低くなります。
  • AI PRO R9700 では確かめていません(今は PC に挿していないため)。

更新方法はいつもどおりで、git pull してから ./setup.sh を実行してください。


Qwen3.8-Flash-Next reads long prompts much faster. RTX 5090 (PCIe Gen4 x4), ISTA-DASLab GSQ-RCO IQ3_S, the v1.3.87 and v1.3.88 builds alternated (./abyss.sh --bench --full, ctx 65536):

prompt v1.3.87 v1.3.88
2K tokens 1061-1120 tok/s 1145-1202 tok/s (+5%)
8K tokens 1477-1561 tok/s 2240-2376 tok/s (+52%)
32K tokens 1702-1720 tok/s 3002-3027 tok/s (+76%)

A 45.5K-token prompt (needle test) 26-29 s -> 14-17 s, the needle found 3 of 3 on both. Decode unchanged; quality KL 0.0022 as before.

  • The prompt's sparse attention (the 12 QSA layers, rows past 2,051 cells) runs 64 rows a launch instead of a gather and an attention launch a row and a layer, each row reading its own selected cells straight from the KV cache, one block the six heads of a KV group (one K / V read for six heads). The same bits as before (qsa_rows_parity: 8K / 32K contexts, 4-2,051-cell selections). The indexer's block keys are appended a sub-batch at a time in two launches instead of one a token (the same bytes). The stage took 2,000 ms of a 12K-token run, now 346. STRATA_Q4X_QSA_BATCH=0 is the old way; off by default on HIP (it compiles; not run on an AMD card).
  • The delta-net middle (q/k norm, gates, recurrence, output norm, q8_1) runs in one launch on the token path and three in one in the verify windows, the same bits (gdn_core_parity). About -0.09 ms a token; the decode speed moved within the noise. STRATA_Q4X_GDN_FUSE=0 is the old way; off by default on HIP.
  • --bench's drafter check no longer calls a near-tie "TOO EARLY": when the answers with and without the drafter part within the first 12 tokens, the token path scores both tokens after the same start (LOGP); within 1 nat is an early near-tie (fine), farther apart is still TOO EARLY. On the 5090 the parts measured 0.01-0.13 nats apart, a wrong token 18-28 nats below.
  • Not checked on an AI PRO R9700 (not in the PC).

Update as usual: git pull, then run ./setup.sh.