Repository navigation
Abyss v1.3.88 — Qwen3.8-Flash-Next の長いプロンプトが速く(8K +52%、32K +76%)
Qwen3.8-Flash-Next で、長いプロンプトを読む速さが大きく上がりました。RTX 5090(PCIe Gen4 x4)、ISTA-DASLab GSQ-RCO IQ3_S で、v1.3.87 と v1.3.88 のビルドを交互に測りました(./abyss.sh --bench --full、文脈 65536)。
| プロンプト | v1.3.87 | v1.3.88 |
|---|---|---|
| 2K トークン | 1,061〜1,120 tok/s | 1,145〜1,202 tok/s(+5%) |
| 8K トークン | 1,477〜1,561 tok/s | 2,240〜2,376 tok/s(+52%) |
| 32K トークン | 1,702〜1,720 tok/s | 3,002〜3,027 tok/s(+76%) |
45.5K トークンのプロンプト(埋めた答えを探すテスト)は、1 本 26〜29 秒 → 14〜17 秒になりました。答えは新旧とも 3 回中 3 回見つかっています。答えを出す速さ(decode)は変わりません。品質も KL 0.0022 のままです。
- プロンプトの疎なアテンション(QSA の 12 層で、2,051 セルより後の行)を、64 行まとめて 1 回で処理するようにしました。
- これまでは、行ごと・層ごとに「選んだセルを集める」と「アテンション」を GPU に頼んでいました。
- 今は、各行が選んだセルを KV キャッシュから直接読みます。同じ KV グループの 6 ヘッドで、K/V の読み込みを使い回します。
- 出力は前とビット単位で同じです(
qsa_rows_parityで、文脈 8K / 32K、選ぶセル 4〜2,051 個で確かめました)。 - インデクサのキーの追加も、1 トークンずつではなく、サブバッチごとに 2 回の処理にまとめました。結果は同じバイトです。
- 12K トークンの測定で、この部分は 2,000 ms → 346 ms になりました。
STRATA_Q4X_QSA_BATCH=0で、元の処理に戻ります。HIP では既定でオフです(コンパイルは確認済み。AMD のカードでは動かしていません)。
- GDN(delta-net)の中間の処理(q/k の正規化、ゲート、再帰、出力の正規化、q8_1)を、1 回の処理にまとめました。
- 1 トークンずつの経路では 1 回、検証窓では 3 回分を 1 回にしています。出力はビット単位で同じです(
gdn_core_parity)。 - 1 トークンあたり約 0.09 ms 縮みましたが、答えの速さは揺れの範囲内でした。
STRATA_Q4X_GDN_FUSE=0で、元の処理に戻ります。HIP では既定でオフです。
- 1 トークンずつの経路では 1 回、検証窓では 3 回分を 1 回にしています。出力はビット単位で同じです(
--benchのドラフターの確認が、ほぼ同点の入れ替わりを「TOO EARLY」と報告しなくなりました。- ドラフターありとなしの答えが最初の 12 トークン以内で分かれたとき、同じ書き出しのあとの 2 つのトークンを、モデルに採点させます(LOGP)。
- 差が 1 nat 以内なら、ほぼ同点の入れ替わりとして問題なしにします。それより離れていれば、これまでどおり TOO EARLY です。
- 5090 では、分かれた場所の差は 0.01〜0.13 nats でした。間違ったトークンだと、18〜28 nats も低くなります。
- AI PRO R9700 では確かめていません(今は PC に挿していないため)。
更新方法はいつもどおりで、git pull してから ./setup.sh を実行してください。
Qwen3.8-Flash-Next reads long prompts much faster. RTX 5090 (PCIe Gen4 x4), ISTA-DASLab GSQ-RCO IQ3_S, the v1.3.87 and v1.3.88 builds alternated (./abyss.sh --bench --full, ctx 65536):
| prompt | v1.3.87 | v1.3.88 |
|---|---|---|
| 2K tokens | 1061-1120 tok/s | 1145-1202 tok/s (+5%) |
| 8K tokens | 1477-1561 tok/s | 2240-2376 tok/s (+52%) |
| 32K tokens | 1702-1720 tok/s | 3002-3027 tok/s (+76%) |
A 45.5K-token prompt (needle test) 26-29 s -> 14-17 s, the needle found 3 of 3 on both. Decode unchanged; quality KL 0.0022 as before.
- The prompt's sparse attention (the 12 QSA layers, rows past 2,051 cells) runs 64 rows a launch instead of a gather and an attention launch a row and a layer, each row reading its own selected cells straight from the KV cache, one block the six heads of a KV group (one K / V read for six heads). The same bits as before (
qsa_rows_parity: 8K / 32K contexts, 4-2,051-cell selections). The indexer's block keys are appended a sub-batch at a time in two launches instead of one a token (the same bytes). The stage took 2,000 ms of a 12K-token run, now 346.STRATA_Q4X_QSA_BATCH=0is the old way; off by default on HIP (it compiles; not run on an AMD card). - The delta-net middle (q/k norm, gates, recurrence, output norm, q8_1) runs in one launch on the token path and three in one in the verify windows, the same bits (
gdn_core_parity). About -0.09 ms a token; the decode speed moved within the noise.STRATA_Q4X_GDN_FUSE=0is the old way; off by default on HIP. --bench's drafter check no longer calls a near-tie "TOO EARLY": when the answers with and without the drafter part within the first 12 tokens, the token path scores both tokens after the same start (LOGP); within 1 nat is an early near-tie (fine), farther apart is still TOO EARLY. On the 5090 the parts measured 0.01-0.13 nats apart, a wrong token 18-28 nats below.- Not checked on an AI PRO R9700 (not in the PC).
Update as usual: git pull, then run ./setup.sh.