XeStrata xe0.1.43.1

English | 日本語

English

Important

If you use xe0.1.43 on an Intel GPU, update to this release.
In xe0.1.43, Qwen3.8-Flash-Next's prefill on Intel Arc GPUs fell back to a slow path (DP4a instead of the matrix engines): about a third slower on the Arc Pro B70 at 32K. This release fixes it.

Install

1. Pick the package for your GPU from the table below and download it (with SHA256SUMS).
2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.43-2_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.43-2.x86_64.rpm (Fedora).
4. Run xestrata --setup in a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, then xestrata --setup again.

Note

Without an NVIDIA GPU, either CUDA version works the same.

GPU	Ubuntu 26.04	Fedora 44
Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later)	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others)	xestrata-contrib-cuda12.4	none

• There is no free-software-only package (xestrata-free) in this release; build it from the source as docs/BUILD.md describes.
• The version changed, so conversations saved with --conversation-save by an earlier version are not read.

Fixed

• Qwen3.8-Flash-Next's prefill on Intel GPUs: back on the matrix engines (XMX). Arc Pro B70, IQ3_XXS at 32K: 1,590 tok/s in xe0.1.43, 2,415 now, with the same answers as before xe0.1.43.

Faster

• Ornith-1.5 and llm-jp-4.1's prefill on Intel GPUs: the experts are multiplied in their quantized form on the XMX (Arc B and Arc A series), not by DP4a. Arc Pro B70, Ornith Q4_K_M: a 515-token prompt 686 → 1,894 tok/s, 3,562 tokens 2,200 → 2,487.
• AMD Radeon RDNA3 and RDNA4 (RX 7000, RX 9000): XeStrata's own FP16 matrix products and Qwen3.8-Flash-Next's prefill attention run on the GPU's matrix instructions (WMMA), not DP4a and FP32.
• Volta (V100): Ornith-1.5 and llm-jp-4.1's prefill takes the FP16 tensor cores (Volta's have no int8).

A GPU without matrix engines (RDNA2, Pascal, an Intel GPU without XMX) keeps the DP4a path, as before.

Speed against upstream

XeStrata xe0.1.43.1 against upstream v0.1.43 on the same GPU, with Qwen3.8-Flash-Next IQ3_XXS. generate reads a prompt of 1K to 262K tokens and writes 256 tokens; serve is a 32K conversation with strata --serve; everyday use is a Japanese chat (chat-ja) and a coding agent (agent) through serve/server.py.

Note

• generate: temperature 0 (greedy). Within ±1% counts as ≈ equal.
• serve and everyday use: temperature 0.7, each engine writing its own text, so a run can land about 10% off the median. Within ±1% for prefill and ±5% for the wait, decode and first token counts as ≈ equal.
• Both are the median of two alternating runs.

Intel Arc Pro B70 (32 GB): upstream v0.1.43 is its sycl/ port, with the settings its sycl/setup_intel.py writes

generate (temperature 0, tokens/s)

Type and length	prefill XeStrata xe0.1.43.1	prefill upstream v0.1.43	Difference	decode XeStrata xe0.1.43.1	decode upstream v0.1.43	Difference
IQ3_XXS 1K	869	679	✅ ×1.3	84.2	61.7	✅ +36%
IQ3_XXS 4K	1,511	1,259	✅ ×1.2	81.1	62.2	✅ +30%
IQ3_XXS 32K	2,320	1,202	✅ ×1.9	81.5	54.8	✅ +49%
IQ3_XXS 64K	2,395	1,153	✅ ×2.1	79.2	59.3	✅ +34%
IQ3_XXS 128K	2,388	1,044	✅ ×2.3	75.9	56.7	✅ +34%
IQ3_XXS 262K	2,288	892	✅ ×2.6	72.9	53.2	✅ +37%

serve and everyday use (temperature 0.7)

Measure	XeStrata xe0.1.43.1	upstream v0.1.43	Difference
serve 32K first prefill (tok/s)	2,305	1,194	✅ ×1.9
serve 32K wait for a follow-up (ms)	189	303	✅ −38%
serve 32K decode (tok/s)	79.3	54.0	✅ +47%
chat-ja first token (s)	0.58	0.75	✅ −23%
chat-ja decode (tok/s)	62.7	42.3	✅ +48%
agent first token (s)	2.80	3.50	✅ −20%
agent prefill (tok/s)	1,402	1,010	✅ ×1.4
agent decode (tok/s)	74.6	55.9	✅ +33%

RTX 4070, RX 9060 XT: being measured (added later)

日本語

Important

Intel の GPU で xe0.1.43 を使っている方は、このリリースに更新してください。
xe0.1.43 では、Intel Arc の GPU で Qwen3.8-Flash-Next の prefill が遅い経路（行列エンジンでなく DP4a）に落ちていました。Arc Pro B70 の 32K で約 3 割遅くなっていました。このリリースで直りました。

インストール

1. 下の表から GPU に合うパッケージを選び、SHA256SUMS と一緒にダウンロードする。
2. 確かめる: sha256sum -c SHA256SUMS --ignore-missing
3. 入れる: sudo apt install ./xestrata-contrib-cuda13.1_0.1.43-2_amd64.deb（Ubuntu）または sudo dnf install ./xestrata-contrib-cuda13.4-0.1.43-2.x86_64.rpm（Fedora）
4. 端末で xestrata --setup を実行する。GPU のライブラリや render グループが足りなければ、入れるコマンドを表示して止まるので、そのコマンドを実行してから、もう一度 xestrata --setup を実行する。

Note

NVIDIA の GPU がなければ、どちらの CUDA の版でも同じように動きます。

GPU	Ubuntu 26.04	Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel、AMD（RDNA2 以降）、NVIDIA の Pascal と Volta（P100、P40、GTX 10 シリーズ、V100 など）	xestrata-contrib-cuda12.4	なし

• このリリースには自由ソフトウェアだけのパッケージ（xestrata-free）はありません。docs/BUILD.ja.md のとおりソースから作れます。
• 版が変わったので、前の版の --conversation-save で保存した会話は読みません。

直したこと

• Intel の GPU での Qwen3.8-Flash-Next の prefill: 行列エンジン（XMX）の経路に戻しました。Arc Pro B70、IQ3_XXS の 32K: xe0.1.43 の 1,590 tok/s が 2,415 tok/s に戻り、答えも xe0.1.43 より前と同じです。

速くなったこと

• Intel の GPU での Ornith-1.5 と llm-jp-4.1 の prefill: エキスパートを量子化したまま、DP4a でなく XMX で積みます（Arc B と Arc A シリーズ）。Arc Pro B70、Ornith Q4_K_M: 515 トークンの prompt で 686 → 1,894 tok/s、3,562 トークンで 2,200 → 2,487 tok/s。
• AMD Radeon の RDNA3 と RDNA4（RX 7000、RX 9000）: XeStrata 自前の FP16 の行列積と、Qwen3.8-Flash-Next の prefill のアテンションを、DP4a や FP32 でなく、GPU の行列命令（WMMA）で計算します。
• Volta（V100）: Ornith-1.5 と llm-jp-4.1 の prefill で、FP16 の Tensor Core を使います（Volta の Tensor Core は int8 を扱えないため）。

行列エンジンのない GPU（RDNA2、Pascal、XMX のない Intel の GPU）は、これまでどおり DP4a の経路です。

upstream との速さの比較

同じ GPU で、XeStrata xe0.1.43.1 と upstream v0.1.43 を Qwen3.8-Flash-Next IQ3_XXS で比べました。generate は 1K〜262K トークンの prompt を読んで 256 トークンを書きます。serve は strata --serve での 32K の会話、通常使用は serve/server.py を通した日本語のチャット（chat-ja）とコーディングエージェント（agent）です。

Note

• generate：温度 0（greedy）。差が ±1% 以内なら ≒ 同等です。
• serve と通常使用：温度 0.7 で、それぞれのエンジンが自分の文を書くので、1 回ごとに中央値から 10% 前後ずれることがあります。差が prefill は ±1% 以内、待ち・decode・最初のトークンは ±5% 以内なら ≒ 同等です。
• どちらも、交互に 2 回ずつ測った中央値です。

Intel Arc Pro B70 (32 GB): upstream v0.1.43 は sycl/ 版（その sycl/setup_intel.py が書く設定）

generate（温度 0、トークン/秒）

形式・長さ	prefill XeStrata xe0.1.43.1	prefill upstream v0.1.43	差	decode XeStrata xe0.1.43.1	decode upstream v0.1.43	差
IQ3_XXS 1K	869	679	✅ 1.3 倍	84.2	61.7	✅ +36%
IQ3_XXS 4K	1,511	1,259	✅ 1.2 倍	81.1	62.2	✅ +30%
IQ3_XXS 32K	2,320	1,202	✅ 1.9 倍	81.5	54.8	✅ +49%
IQ3_XXS 64K	2,395	1,153	✅ 2.1 倍	79.2	59.3	✅ +34%
IQ3_XXS 128K	2,388	1,044	✅ 2.3 倍	75.9	56.7	✅ +34%
IQ3_XXS 262K	2,288	892	✅ 2.6 倍	72.9	53.2	✅ +37%

serve と通常使用（温度 0.7）

計測	XeStrata xe0.1.43.1	upstream v0.1.43	差
serve 32K 最初の prefill (tok/s)	2,305	1,194	✅ 1.9 倍
serve 32K 会話の続きの待ち (ms)	189	303	✅ −38%
serve 32K decode (tok/s)	79.3	54.0	✅ +47%
chat-ja 最初のトークン (s)	0.58	0.75	✅ −23%
chat-ja decode (tok/s)	62.7	42.3	✅ +48%
agent 最初のトークン (s)	2.80	3.50	✅ −20%
agent prefill (tok/s)	1,402	1,010	✅ 1.4 倍
agent decode (tok/s)	74.6	55.9	✅ +33%

RTX 4070・RX 9060 XT: 計測中（後で足す）

XeStrata xe0.1.43

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

English | 日本語

English

Preliminary: the speed comparison with upstream follows.

Install

1. Pick the package for your GPU from the table below and download it (with SHA256SUMS).
2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.43-1_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.43-1.x86_64.rpm (Fedora).
4. Run xestrata --setup in a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, then xestrata --setup again.

Note

Without an NVIDIA GPU, either CUDA version works the same.

GPU	Ubuntu 26.04	Fedora 44
Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later)	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others)	xestrata-contrib-cuda12.4	none

• There is no free-software-only package (xestrata-free) in this release; build it from the source as docs/BUILD.md describes.
• The version changed, so conversations saved with --conversation-save by an earlier version are not read.

New

• Two more models (BETA): Ornith-1.5-35B-A3B (Q4_K_M to BF16, and the GSQ-RCO 3 and 3.5 bits) and llm-jp-4.1-32b-a3b-thinking (Q4_K_M, BF16), both in xestrata --setup's first question. The API works with the thinking kept apart, streaming and tool calls; Ornith's official files draft tokens with the model's MTP layer. Not yet: images, the processor's own graphics, more than one GPU.
• More than one GPU: the automatic layer split also chooses which GPU takes which stage, from measured costs and each card's link; --batch-mtp and --pipeline-windows work across a layer split of three or more GPUs; independent engines on groups of cards behind one server (data-parallel replicas, opt-in). See docs/MULTIGPU.md.
• A window whose logits are NaN or infinite: the request ends instead of writing garbage, and the state it would reuse is dropped (STRATA_NAN_GUARD=0 turns it off).
• xestrata --setup --bench-original-compat: upstream's benchmark mode, measured as upstream measures, to compare with upstream users' reports.

Faster

• Prefill on Intel GPUs: the host copy of the KV cache written 4 bytes at a time, the expert copies on the GPU's copy engine. B70, IQ3_XXS at 64K: 1,974 → 2,399 tok/s.
• Prefill of short prompts: the experts' int8 products use 32-row tiles when the experts average 32 rows or fewer (most of a 64-row tile was empty). B70, IQ3_XXS at 1K: 680 → 803 tok/s.
• Prefill of the larger files: an expert's two weight matrices dequantized in one launch. B70, UD-Q4_K_XL at 32K: +9%.
• Decode on the RX 9060 XT: the split of the missed experts between the CPU and PCIe is refined from the decode's own times. IQ3_XXS, 1K to 262K: 25-45% faster than xe0.1.42.
• Follow-ups in a conversation: the checkpoint at the start of the answer is written into RAM after the reply. RTX 4070: 288 → 222 ms at 1K, 317 → 253 ms at 64K.

Fixed

• A PC with less RAM than the experts (#10, #11): when the free RAM cannot hold all the experts and 8 GiB more, the engine starts with only the experts the GPU does not hold in RAM (as with --resident-experts) instead of loading them all (the PC swapped or stopped), and page-locks its RAM copy only when the free RAM allows (a 31 GB PC with a B70 faulted while copying).
• An engine that stops (#10, #12): it says what it was doing and why (the exception, or the signal it died of), the web app shows it, and the server writes the exit code or the signal.
• The web app's GPU readings agree across Intel, NVIDIA and AMD (Intel's temperature is the GPU's own, a layer split shows every card).

日本語

先行報: upstream との速さの比較は後で足す

インストール

1. 下の表から GPU に合うパッケージを選び、SHA256SUMS と一緒にダウンロードする。
2. 確かめる: sha256sum -c SHA256SUMS --ignore-missing
3. 入れる: sudo apt install ./xestrata-contrib-cuda13.1_0.1.43-1_amd64.deb（Ubuntu）または sudo dnf install ./xestrata-contrib-cuda13.4-0.1.43-1.x86_64.rpm（Fedora）
4. 端末で xestrata --setup を実行する。GPU のライブラリや render グループが足りなければ、入れるコマンドを表示して止まるので、そのコマンドを実行してから、もう一度 xestrata --setup を実行する。

Note

NVIDIA の GPU がなければ、どちらの CUDA の版でも同じように動きます。

GPU	Ubuntu 26.04	Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel、AMD（RDNA2 以降）、NVIDIA の Pascal と Volta（P100、P40、GTX 10 シリーズ、V100 など）	xestrata-contrib-cuda12.4	なし

• このリリースには自由ソフトウェアだけのパッケージ（xestrata-free）はありません。docs/BUILD.ja.md のとおりソースから作れます。
• 版が変わったので、前の版の --conversation-save で保存した会話は読みません。

新しい機能

• モデルが 2 つ増えました（BETA）: Ornith-1.5-35B-A3B（Q4_K_M〜BF16 と、GSQ-RCO の 3・3.5 ビット）と llm-jp-4.1-32b-a3b-thinking（Q4_K_M、BF16）を、xestrata --setup の最初の質問で選べます。API は考えと答えを分け、ストリーミングとツールの呼び出しも使えます。Ornith の公式のファイルは、モデルの MTP の層で先のトークンを下書きします。まだ使えないもの: 画像、CPU 内蔵の GPU、2 枚以上の GPU。
• 2 枚以上の GPU: 層の自動の分割が、測った費用とカードごとのリンクから、どの GPU にどの段を受け持たせるかも選びます。--batch-mtp と --pipeline-windows が 3 枚以上の層の分割でも動きます。カードの組ごとの独立したエンジンを 1 つのサーバーの後ろに置けます（データ並列のレプリカ、opt-in）。docs/MULTIGPU.ja.md
• logits が NaN か無限大になった窓: 壊れた出力を書かずにその要求を終え、使い回す状態を捨てます（STRATA_NAN_GUARD=0 で切れます）。
• xestrata --setup --bench-original-compat: upstream のベンチマークのモードを upstream と同じ測り方で動かし、upstream の利用者の報告と比べられます。

速くなったこと

• Intel の GPU の prefill: KV キャッシュのホストの写しを 4 バイトずつ書き、エキスパートのコピーを GPU のコピー専用のエンジンで流します。B70、IQ3_XXS の 64K: 1,974 → 2,399 tok/s。
• 短いプロンプトの prefill: エキスパートの int8 の積で、1 エキスパートあたりの行が平均 32 行以下なら 32 行のタイルにします（64 行のタイルの大半が空でした）。B70、IQ3_XXS の 1K: 680 → 803 tok/s。
• 大きなファイルの prefill: 1 つのエキスパートの 2 つの重みを 1 回の起動で逆量子化します。B70、UD-Q4_K_XL の 32K: +9%。
• RX 9060 XT の decode: VRAM にないエキスパートの CPU と PCIe への分け方を、decode の実測で詰め直します。IQ3_XXS の 1K〜262K で xe0.1.42 より 25〜45% 速い。
• 会話の続き: 答えの始まりのチェックポイントを、返答の後で RAM に書きます。RTX 4070: 1K で 288 → 222 ms、64K で 317 → 253 ms。

直したこと

• RAM がエキスパートより少ない PC（#10、#11）: RAM の空きがエキスパート全部と 8 GiB に足りなければ、全部は読み込まず、GPU にないエキスパートだけを RAM に置いて起動します（--resident-experts と同じ形。全部を読むと PC がスワップしたり止まったりしていました）。RAM の写しのページ固定は、RAM の空きが足りるときだけにしました（RAM 31 GB と B70 の PC で、コピー中にフォルトが起きていました）。
• エンジンが止まったとき（#10、#12）: 何をしていて、なぜ止まったか（例外か、落ちたシグナル）を書き、Web アプリに出します。サーバーは終了コードかシグナルの名前を書きます。
• Web アプリの GPU の表示: Intel・NVIDIA・AMD でそろえました（Intel の温度は GPU 自身のもの、層の分割ではすべてのカードを表示）。

XeStrata xe0.1.42

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

English | 日本語

English

Important

If you use a package of xe0.1.40.2.2 or earlier, update to this release.
A bug in the compiler that builds the packages (intel/llvm) put another GPU's machine code under some GPUs: on AMD gfx1030, gfx1101, gfx1201 and others, on NVIDIA sm_80, sm_86 and sm_89 were swapped. On such a GPU the engine can stop (ILLEGAL_INSTRUCTION on an RX 9070 XT, issue #7), run slowly or give wrong answers.
This release has the compiler fixed, and its packages were checked to carry each GPU's own machine code.

Install

1. Pick the package for your GPU from the table below and download it (with SHA256SUMS).
2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.42-1_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.42-1.x86_64.rpm (Fedora).
4. Run xestrata --setup in a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, then xestrata --setup again.

Note

Without an NVIDIA GPU, either CUDA version works the same.

GPU	Ubuntu 26.04	Fedora 44
Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later)	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others)	xestrata-contrib-cuda12.4	none

• There is no free-software-only package (xestrata-free) in this release; build it from the source as docs/BUILD.md describes.
• The version changed, so conversations saved with --conversation-save by an earlier version are not read.

Faster

• serve's decode when the experts do not fit VRAM: a missed expert that every token of a verify window routes at rank 7 or lower is neither read nor computed (upstream 0.1.42's default; on in XeStrata on AMD too). IQ3_XXS: RX 9060 XT +6 to 55% (+42 to 55% at 32K), RTX 4070 +8 to 25%, B70 −1 to +13%. The answers change a little (a KL as small as upstream measured). STRATA_ROUTE_TAIL_SKIP=0 turns it off.
• More than 31 GiB of experts in RAM: their page-locking is taken in parts. UD-Q4_K_XL at 32K on the B70: prefill +17%, decode +14%.
• The CPU/PCIe split of the missed experts: a measurement that moved from start to start gave some starts "every miss on the CPU", and the RX 9060 XT's 64K decode fell to 21 tok/s. Measured steadily now: 38 to 41 tok/s every start.
• Long conversations' follow-ups: a short follow-up's way of reading is chosen from what each way took at a similar context length. On the RTX 4070 at 64K a follow-up's wait went from 505 to 304 ms.
• A long prompt sent again: the tokenizer remembers repeated pieces; an 89K-token agent prompt from 0.32 to 0.07 s.

New

• New release notice: the server checks GitHub for a newer release and shows it in the web UI's About; xestrata --check-update checks too.
• Monitoring: a metrics endpoint in Prometheus' format, a conversation-cache card, the recent requests' prefill speed, AMD GPUs' load, VRAM, temperature and power.
• API: a request's logit_bias, repeat_penalty and repeat_last_n, several API keys, reasoning_effort in the run config.
• --aux-cpus (opt-in): moves the threads that are neither pool workers nor the host to spare CPUs.

Fixed

• Parallel requests: two long requests and a short one no longer deadlock, and a request no longer ends up neither running nor waiting.
• Thinking budget: kept below max_tokens with room for the answer, so a reply is not cut off while thinking.
• Tool calls: keep-alives while the arguments are written, and a </think> quoted inside the thinking no longer ends it.
• setup: the config is written through a temporary file, --gguf-dir reads the shard count from the file names, and a GGUF that cannot run gets the choices that can.

Speed against upstream

XeStrata xe0.1.42 against upstream v0.1.42 on the same GPU, with Qwen3.8-Flash-Next IQ3_XXS. generate reads a prompt of 1K to 262K tokens and writes 256 tokens; serve is a 32K conversation with strata --serve; everyday use is a Japanese chat (chat-ja) and a coding agent (agent) through serve/server.py.

Note

• generate: temperature 0 (greedy). Within ±1% counts as ≈ equal.
• serve and everyday use: temperature 0.7, each engine writing its own text, so a run can land about 10% off the median. Within ±1% for prefill and ±5% for the wait, decode and first token counts as ≈ equal.
• generate is the median of two alternating runs, serve and everyday use of three.

Intel Arc Pro B70 (32 GB): upstream v0.1.42 is its sycl/ port

generate (temperature 0, tokens/s)

Type and length	prefill XeStrata xe0.1.42	prefill upstream v0.1.42	Difference	decode XeStrata xe0.1.42	decode upstream v0.1.42	Difference
IQ3_XXS 1K	696	518	✅ ×1.3	83.1	34.0	✅ +144%
IQ3_XXS 4K	1,433	730	✅ ×2.0	89.0	36.3	✅ +145%
IQ3_XXS 32K	2,271	735	✅ ×3.1	85.1	28.5	✅ +199%
IQ3_XXS 64K	1,974	1,014	✅ ×1.9	79.4	28.0	✅ +184%
IQ3_XXS 128K	1,976	952	✅ ×2.1	76.1	17.0	✅ +348%
IQ3_XXS 262K	1,904	825	✅ ×2.3	76.9	17.9	✅ +330%

serve and everyday use (temperature 0.7)

Measure	XeStrata xe0.1.42	upstream v0.1.42	Difference
serve 32K first prefill (tok/s)	2,297	731	✅ ×3.1
serve 32K wait for a follow-up (ms)	226	381	✅ −41%
serve 32K decode (tok/s)	80.0	37.9	✅ +111%
chat-ja first token (s)	0.62	not measurable (too slow)	✅
chat-ja decode (tok/s)	62.3	not measurable (too slow)	✅
agent first token (s)	3.21	not measurable (too slow)	✅
agent prefill (tok/s)	1,218	not measurable (too slow)	✅
agent decode (tok/s)	71.9	not measurable (too slow)	✅

In everyday use upstream was stopped at 10 tok/s or less.

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.1.42 is its CUDA build

generate (temperature 0, tokens/s)

Type and length	prefill XeStrata xe0.1.42	prefill upstream v0.1.42	Difference	decode XeStrata xe0.1.42	decode upstream v0.1.42	Difference
IQ3_XXS 1K	296	258	✅ ×1.1	54.5	46.7	✅ +17%
IQ3_XXS 4K	532	526	✅ ×1.01	58.2	46.1	✅ +26%
IQ3_XXS 32K	1,141	1,142	≈ equal (−0.1%)	58.4	50.2	✅ +16%
IQ3_XXS 64K	1,066	1,069	≈ equal (−0.3%)	52.5	49.7	✅ +6%
IQ3_XXS 128K	1,041	1,042	≈ equal (−0.1%)	48.1	40.4	✅ +19%
IQ3_XXS 262K	997	997	≈ equal (0.0%)	47.7	43.9	✅ +9%

serve and everyday use (temperature 0.7)

Measure	XeStrata xe0.1.42	upstream v0.1.42	Difference
serve 32K first prefill (tok/s)	1,138	1,136	≈ equal (+0.2%)
serve 32K wait for a follow-up (ms)	272	309	✅ −12%
serve 32K decode (tok/s)	61.0	56.9	✅ +7%
chat-ja first token (s)	0.76	0.90	✅ −16%
chat-ja decode (tok/s)	55.0	56.8	≈ equal (−3%)
agent first token (s)	7.44	7.45	≈ equal (−0.1%)
agent prefill (tok/s)	536	535	≈ equal (+0.2%)
agent decode (tok/s)	62.7	62.3	≈ equal (+1%)

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.42 is its HIP build

generate (temperature 0, tokens/s)

Type and length	prefill XeStrata xe0.1.42	prefill upstream v0.1.42	Difference	decode XeStrata xe0.1.42	decode upstream v0.1.42	Difference
IQ3_XXS 1K	524	297	✅ ×1.8	44.3	33.8	✅ +31%
IQ3_XXS 4K	759	380	✅ ×2.0	44.1	32.1	✅ +37%
IQ3_XXS 32K	843	384	✅ ×2.2	42.1	39.7	✅ +6%
IQ3_XXS 64K	845	375	✅ ×2.3	43.2	31.2	✅ +38%
IQ3_XXS 128K	830	360	✅ ×2.3	40.4	38.3	✅ +5%
IQ3_XXS 262K	804	342	✅ ×2.4	36.9	29.5	✅ +25%

serve and everyday use (temperature 0.7)

Measure	XeStrata xe0.1.42	upstream v0.1.42	Difference
serve 32K first prefill (tok/s)	843	383	✅ ×2.2
serve 32K wait for a follow-up (ms)	384	475	✅ −19%
serve 32K decode (tok/s)	44.7	32.1	✅ +39%
chat-ja first token (s)	0.98	1.29	✅ −24%
chat-ja decode (tok/s)	41.3	31.1	✅ +33%
agent first token (s)	5.73	11.61	✅ −51%
agent prefill (tok/s)	673	339	✅ ×2.0
agent decode (tok/s)	38.2	32.6	✅ +17%

日本語

Important

xe0.1.40.2.2 までのパッケージを使っている人は、必ずこの版に更新してください。
パッケージを作るコンパイラ（intel/llvm）の不具合で、一部の GPU に別の GPU 向けの機械語が入っていました。AMD では gfx1030・gfx1101・gfx1201 など、NVIDIA では sm_80・sm_86・sm_89 が入れ替わっていました。その GPU では、止まる（RX 9070 XT で ILLEGAL_INSTRUCTION、issue #7）か、遅いか、答えがおかしくなることがあります。
この版はコンパイラを直してあり、各 GPU 向けの機械語がその GPU のものかをパッケージで確かめています。

入れ方

1. GPU に合うパッケージを下の表から選んで取ってきます（SHA256SUMS も一緒に）。
2. sha256sum -c SHA256SUMS --ignore-missing で確かめます。
3. 入れます: sudo apt install ./xestrata-contrib-cuda13.1_0.1.42-1_amd64.deb（Ubuntu）か sudo dnf install ./xestrata-contrib-cuda13.4-0.1.42-1.x86_64.rpm（Fedora）。
4. 端末で xestrata --setup を実行します。足りない GPU のライブラリと render グループは、入れるコマンドを表示して止まるので、それを実行してからもう一度 xestrata --setup を実行します。

Note

NVIDIA の GPU を使わない場合は、どちらの CUDA のバージョンを使っても変わりありません。

GPU	Ubuntu 26.04	Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）	xestrata-contrib-cuda13.1	`xestr...

XeStrata xe0.1.40.2.2

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

日本語 | English

日本語

入れ方

1. GPU に合うパッケージを下の表から選んで取ってきます（SHA256SUMS も一緒に）。
2. sha256sum -c SHA256SUMS --ignore-missing で確かめます。
3. 入れます: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-3_amd64.deb（Ubuntu）か sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-3.x86_64.rpm（Fedora）。
4. 端末で xestrata --setup を実行します。足りない GPU のライブラリと render グループは、入れるコマンドを表示して止まるので、それを実行してからもう一度 xestrata --setup を実行します。

Note

NVIDIA の GPU を使わない場合は、どちらの CUDA のバージョンを使っても変わりありません。

GPU	Ubuntu 26.04	Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel、AMD（RDNA2 以降）、NVIDIA の Pascal と Volta（P100、P40、GTX 10 シリーズ、V100 など）	xestrata-contrib-cuda12.4	なし

• 自由ソフトウェアだけで動かす版（xestrata-free）は付けていません。docs/BUILD.ja.md の手順でソースから作れます。
• 版が変わったので、前の版で --conversation-save に保存した会話は読み込めません。

直ったこと

• Q2_0 で VRAM に収まらないとき: 最初の要求で落ちていた（SIGSEGV）のを直しました（issue #1、mobile2machan の修正）。報告した機械の Arc Pro B60 2 枚で、落ちずに答えることが確かめられています。
• Intel のディスクリート GPU の起動時のフォールト: GPU がホストのメモリにアトミックな書き込みをしないようにしました。Arc Pro B60 で起動中に GPU がフォールトして UR_RESULT_ERROR_DEVICE_LOST で止まる報告（issue #2）への対策です。B70 では出力も速さも変わりません。
• WSL 2: setup が止まらず、警告を出して先に進みます（GPU の見えない WSL 1 は今までどおり止まります）。

速くなったところ

• serve の会話の続き: 短い続きを読む 2 つの経路のどちらが速いかを、その PC で測って選びます（今までは 64 トークンで固定）。64 トークンの続きの待ちが、RTX 4070 806 → 424 ms、RX 9060 XT 701 → 450 ms 前後、B70 431 → 366 ms。--short-read N で今までどおり固定もできます。

新しい機能

• xestrata --bench: 自分の PC の速さを、リリースの表と同じ定義（generate・serve・通常使用）で測ります。記録はデータフォルダの records/ に書き、どこにも送りません。--bench-verbose で段階ごと・カーネルごとの時間、--bench-temperature で温度、--original-strata TAG で upstream と交互に比べられます。測り方は docs/BENCH.ja.md にあります。
• 起動時の表示: 密な行列積を受け持つもの（oneMKL・rocBLAS・cuBLAS か、XeStrata のカーネル）を正しく出します。

upstream との速さの比較

XeStrata xe0.1.40.2.2 と upstream の Strata v0.1.42 を、同じ PC・同じモデル（Qwen3.8-Flash-Next IQ3_XXS）で比べました。generate はコードエージェントの入力を読ませて 256 トークンを書かせ、交互に 2 回ずつ測った中央値です。

Note

• generate：温度 0（greedy）。差が ±1% 以内なら ≒ 同等です。
• serve と通常使用：温度 0.7 で、それぞれのエンジンが自分の文を書くので、1 回ごとに中央値から 10% 前後ずれることがあります。差が prefill は ±1% 以内、待ち・decode・最初のトークンは ±5% 以内なら ≒ 同等です。
• どちらも、交互に 2 回ずつ測った中央値です。

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.42 は HIP 版

generate（温度 0、トークン/秒）

形式・長さ	prefill XeStrata xe0.1.40.2.2	prefill upstream v0.1.42	差	decode XeStrata xe0.1.40.2.2	decode upstream v0.1.42	差
IQ3_XXS 1K	582	279	✅ 2.1 倍	49.1	48.0	✅ +2%
IQ3_XXS 4K	774	378	✅ 2.0 倍	47.3	44.7	✅ +6%
IQ3_XXS 32K	842	385	✅ 2.2 倍	51.4	45.9	✅ +12%
IQ3_XXS 64K	845	374	✅ 2.3 倍	50.2	38.9	✅ +29%
IQ3_XXS 128K	830	362	✅ 2.3 倍	39.9	31.9	✅ +25%
IQ3_XXS 262K	798	339	✅ 2.4 倍	33.5	36.3	❌ −8%

serve と通常使用（温度 0.7）

計測	XeStrata xe0.1.40.2.2	upstream v0.1.42	差
serve 32K 最初の prefill (tok/s)	836	381	✅ 2.2 倍
serve 32K 会話の続きの待ち (ms)	528	436	❌ +21%
serve 32K decode (tok/s)	32.9	40.4	❌ −19%
chat-ja 最初のトークン (s)	0.92	1.49	✅ −38%
chat-ja decode (tok/s)	32.2	29.3	✅ +10%
agent 最初のトークン (s)	5.80	11.67	✅ −50%
agent prefill (tok/s)	673	338	✅ 1.99 倍
agent decode (tok/s)	33.6	27.9	✅ +20%

B70・RTX 4070：後で足す

English

Install

1. Pick the package for your GPU from the table below and download it (with SHA256SUMS).
2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-3_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-3.x86_64.rpm (Fedora).
4. Run xestrata --setup in a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, then xestrata --setup again.

Note

Without an NVIDIA GPU, either CUDA version works the same.

GPU	Ubuntu 26.04	Fedora 44
Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later)	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others)	xestrata-contrib-cuda12.4	none

• There is no free-software-only package (xestrata-free) in this release; build it from the source as docs/BUILD.md describes.
• The version changed, so conversations saved with --conversation-save by an earlier version are not read.

Fixed

• Q2_0 with experts outside VRAM: the engine crashed (SIGSEGV) at the first request; fixed (issue #1, mobile2machan's fix). The reporter confirmed on two Arc Pro B60s that it now answers.
• A fault at start on Intel discrete GPUs: the GPU no longer writes host memory with atomic operations. This addresses the Arc Pro B60 report of a GPU fault at start that stopped the engine with UR_RESULT_ERROR_DEVICE_LOST (issue #2). On the B70 the output and the speed are unchanged.
• WSL 2: setup warns and goes on instead of stopping (WSL 1, which has no GPU, still stops).

Faster

• Follow-ups in serve: for a short follow-up, the engine measures on your PC which of its two ways of reading it is faster and takes that one (it was fixed at 64 tokens). The wait for a 64-token follow-up: RTX 4070 806 → 424 ms, RX 9060 XT 701 → about 450 ms, B70 431 → 366 ms. --short-read N still fixes it.

New

• xestrata --bench: measures your PC with the release table's definitions (generate, serve, everyday use). The record goes to records/ in the data folder and is sent nowhere. --bench-verbose adds the time of each stage and kernel, --bench-temperature sets the temperature, and --original-strata TAG compares with upstream, alternating. The methods are in docs/BENCH.md.
• The start-up line: it now names what computes the dense matrix products (oneMKL, rocBLAS, cuBLAS, or XeStrata's kernels).

Speed against upstream

XeStrata xe0.1.40.2.2 against upstream Strata v0.1.42 on the same PC and the same model (Qwen3.8-Flash-Next IQ3_XXS). generate reads a coding agent's input and writes 256 tokens; the median of two alternating runs.

Note

• generate: temperature 0 (greedy). Within ±1% counts as ≈ equal.
• serve and everyday use: temperature 0.7, each engine writing its own text, so a run can land about 10% off the median. Within ±1% for the prefill and ±5% for the wait, decode and first token counts as ≈ equal.
• Both are the median of two alternating runs.

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.42 is its HIP build

generate (temperature 0, tokens/s)

Type, length	prefill XeStrata xe0.1.40.2.2	prefill upstream v0.1.42	difference	decode XeStrata xe0.1.40.2.2	decode upstream v0.1.42	difference
IQ3_XXS 1K	582	279	✅ ×2.1	49.1	48.0	✅ +2%
IQ3_XXS 4K	774	378	✅ ×2.0	47.3	44.7	✅ +6%
IQ3_XXS 32K	842	385	✅ ×2.2	51.4	45.9	✅ +12%
IQ3_XXS 64K	845	374	✅ ×2.3	50.2	38.9	✅ +29%
IQ3_XXS 128K	830	362	✅ ×2.3	39.9	31.9	✅ +25%
IQ3_XXS 262K	798	339	✅ ×2.4	33.5	36.3	❌ −8%

serve and everyday use (temperature 0.7)

Measure	XeStrata xe0.1.40.2.2	upstream v0.1.42	difference
serve 32K first prefill (tok/s)	836	381	✅ ×2.2
serve 32K wait for a follow-up (ms)	528	436	❌ +21%
serve 32K decode (tok/s)	32.9	40.4	❌ −19%
chat-ja first token (s)	0.92	1.49	✅ −38%
chat-ja decode (tok/s)	32.2	29.3	✅ +10%
agent first token (s)	5.80	11.67	✅ −50%
agent prefill (tok/s)	673	338	✅ ×1.99
agent decode (tok/s)	33.6	27.9	✅ +20%

B70, RTX 4070: added later

XeStrata xe0.1.40.2.1

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

日本語 | English

日本語

入れ方

1. GPU に合うパッケージを下の表から選んで取ってきます（SHA256SUMS も一緒に）。
2. sha256sum -c SHA256SUMS --ignore-missing で確かめます。
3. 入れます: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-2_amd64.deb（Ubuntu）か sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-2.x86_64.rpm（Fedora）。
4. 端末で xestrata --setup を実行します。足りない GPU のライブラリと render グループは、入れるコマンドを表示して止まるので、それを実行してからもう一度 xestrata --setup を実行します。

GPU	Ubuntu 26.04	Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）、そのいくつか	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
NVIDIA の Pascal と Volta（P100、P40、GTX 10 シリーズ、V100 など）、それと Intel や AMD	xestrata-contrib-cuda12.4	なし

• 自由ソフトウェアだけで動かす版（xestrata-free）は付けていません。docs/BUILD.ja.md の手順でソースから作れます。

新しく動く GPU（xe0.1.39 から）

• AMD の GPU（RDNA2 以降）: Intel・NVIDIA と同じパッケージ、同じカーネルで動きます。RX 9060 XT で、upstream の HIP 版よりプロンプトの読み込みが約 2 倍（4K で 749 対 400 トークン/秒）、デコードは同程度でした。
• NVIDIA の Pascal（GTX 10 シリーズ、P100、P40）: xestrata-contrib-cuda12.4 で動きます。
• AMD の APU: setup が統合メモリを数え、Ryzen AI Max（Strix Halo）では UD-IQ4_XS を勧めます（APU の実機では確かめていません）。

デコードが速くなったところ

• VRAM に収まらないエキスパート: CPU で計算する数と PCIe 越しに読む数を、起動時に測った時間で決めます（Project Maya の考え方）。RTX 4070 の 32K で、IQ3_XXS が 50.0 → 57.0〜58.6、UD-Q4_K_XL が 22.0 → 25.7 トークン/秒です。B70 と RX 9060 XT は変わりません。
• PCIe 越しの読み込み: VRAM にあるエキスパートの計算と重ね、リンクを使い切れる最少のワークグループで読みます。RTX 4070 で 1 ラウンド 69.8 → 66.4 ms。
• 常駐モード（--resident-experts）: エキスパートの入れ替えを窓の間に裏で進めます。RTX 4070 で 14〜15% 速くなりました。
• 会話のデコード（IQ2_XS、6 つの会話）: RTX 4070 62.3 → 64.4、B70 68.4 → 69.7 トークン/秒。

プロンプトが速くなったところ

• B70: 4K のプロンプトが 1250 → 1849 トークン/秒（IQ2_XS）。
• 最初のトークンまで（21 トークンの会話）: RTX 4070 1853 → 894 ms、B70 1069 → 290 ms。
• RTX 4070 の長いプロンプト: 64K で IQ3_XXS 1032 → 1067、IQ2_XS 1233 → 1284 トークン/秒。32K の UD-Q4_K_XL は RAM の予算か常駐モードのとき 524 → 611 トークン/秒。
• 短いプロンプト: VRAM にないエキスパートの一部を CPU で計算します。262 トークンで、B70 319 → 383、RTX 4070 110 → 266 トークン/秒。

新しい機能

• 会話をファイルに保存して戻す（セッションファイル）、チェックポイントを取らない要求（ckpt=0）、共有の先頭の固定（pin=N）。
• --batch と --mtp を一緒に使うと、各スロットが MTP の下書きを確かめます。
• PLE の表を GGUF の形式のまま読み、ネイティブのエキスパートの Q4_0・Q4_1・Q5_0・Q6_K を GPU で計算します。
• setup: --inspect（GGUF の量子化を見る）、--source modelscope、200K の文脈。

upstream との速さの比較

XeStrata xe0.1.40.2.1 と upstream の Strata v0.1.41 を、同じ PC・同じモデル（Qwen3.8-Flash-Next IQ3_XXS）で比べました。プロンプトはコードエージェントの入力で、256 トークンを出力させ、交互に 2 回ずつ測った中央値です。単位はトークン/秒です。±1% 以内は同等（≒）としています。

Intel Arc Pro B70 (32 GB): upstream v0.1.41 は SYCL 版（sycl/、B70 向けの AOT）

形式・長さ	プロンプト XeStrata xe0.1.40.2.1	プロンプト upstream v0.1.41	差	出力 XeStrata xe0.1.40.2.1	出力 upstream v0.1.41	差
IQ3_XXS 1K	844	547	✅ 1.54 倍	82.8	34.4	✅ +141%
IQ3_XXS 4K	1,501	732	✅ 2.0 倍	82.4	40.6	✅ +103%
IQ3_XXS 32K	2,310	735	✅ 3.1 倍	79.5	28.7	✅ +177%
IQ3_XXS 64K	1,967	1,129	✅ 1.74 倍	74.3	36.4	✅ +104%
IQ3_XXS 128K	1,975	1,018	✅ 1.94 倍	75.8	30.3	✅ +150%
IQ3_XXS 262K	1,903	884	✅ 2.2 倍	72.1	34.3	✅ +111%

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.1.41 は CUDA 版

形式・長さ	プロンプト XeStrata xe0.1.40.2.1	プロンプト upstream v0.1.41	差	出力 XeStrata xe0.1.40.2.1	出力 upstream v0.1.41	差
IQ3_XXS 1K	297	258	✅ 1.15 倍	53.9	46.7	✅ +15%
IQ3_XXS 4K	533	526	✅ 1.01 倍	58.0	46.4	✅ +25%
IQ3_XXS 32K	1,142	1,143	≒ 同等（−0.1%）	58.5	50.9	✅ +15%
IQ3_XXS 64K	1,068	1,070	≒ 同等（−0.2%）	53.4	49.5	✅ +8%
IQ3_XXS 128K	1,042	1,043	≒ 同等（±0.0%）	47.1	41.2	✅ +14%
IQ3_XXS 262K	997	997	≒ 同等（±0.0%）	50.1	43.7	✅ +14%

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.41 は HIP 版

形式・長さ	プロンプト XeStrata xe0.1.40.2.1	プロンプト upstream v0.1.41	差	出力 XeStrata xe0.1.40.2.1	出力 upstream v0.1.41	差
IQ3_XXS 1K	509	295	✅ 1.73 倍	48.8	46.8	✅ +4%
IQ3_XXS 4K	768	372	✅ 2.1 倍	48.9	42.8	✅ +14%
IQ3_XXS 32K	847	382	✅ 2.2 倍	50.3	45.7	✅ +10%
IQ3_XXS 64K	829	370	✅ 2.2 倍	46.2	38.2	✅ +21%
IQ3_XXS 128K	830	356	✅ 2.3 倍	50.5	43.3	✅ +17%
IQ3_XXS 262K	803	337	✅ 2.4 倍	44.1	38.3	✅ +15%

前の版からの注意

• 版が変わったので、xe0.1.39 で保存した会話（--conversation-save）は読まれません。
• パッケージの版は「取り込んだ upstream の版-その版でのリリースの回数」になりました（今回は 0.1.40.2-2）。xe0.1.39 のパッケージからは、そのまま更新できます。

English

Installing

1. Download the package for your GPU from the table below (and SHA256SUMS).
2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-2_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-2.x86_64.rpm (Fedora).
4. Run xestrata --setup in a terminal. When the GPU's libraries or the render group are missing, it stops with the command to run; run it, then xestrata --setup again.

GPU	Ubuntu 26.04	Fedora 44
Recommended: Intel, AMD (RDNA2 and later), NVIDIA (Turing and later), or several of them	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and the like), with Intel or AMD	xestrata-contrib-cuda12.4	none

• No free-software-only package (xestrata-free) is attached; build it from the source as docs/BUILD.md describes.

GPUs that now run (since xe0.1.39)

• AMD GPUs (RDNA2 and later): the same packages and kernels as Intel and NVIDIA. On an RX 9060 XT the prompt reads about twice as fast as upstream's HIP build (749 against 400 tokens/s at 4K) and the decode is about the same.
• NVIDIA Pascal (GTX 10 series, P100, P40): runs with xestrata-contrib-cuda12.4.
• AMD APUs: setup counts the unified memory and recommends UD-IQ4_XS on a Ryzen AI Max (Strix Halo) (not checked on an APU).

Faster decode

• Experts that do not fit in VRAM: how many the CPU computes and how many are read over PCIe is chosen from times measured at start (after Project Maya). On an RTX 4070 at 32K, IQ3_XXS went from 50.0 to 57.0-58.6 and UD-Q4_K_XL from 22.0 to 25.7 tokens/s. The B70 and the RX 9060 XT are unchanged.
• Reads over PCIe: overlapped with the experts in VRAM, with the fewest work-groups that fill the link. On an RTX 4070 a round went from 69.8 to 66.4 ms.
• Resident mode (--resident-experts): the experts' swaps move between windows in the background. The RTX 4070 decoded 14-15% faster.
• Conversation decode (IQ2_XS, six conversations): RTX 4070 62.3 to 64.4, B70 68.4 to 69.7 tokens/s.

Faster prompts

• B70: a 4K prompt went from 1250 to 1849 tokens/s (IQ2_XS).
• Time to the first token (a 21-token conversation): RTX 4070 1853 to 894 ms, B70 1069 to 290 ms.
• Long prompts on an RTX 4070: at 64K, IQ3_XXS 1032 to 1067 and IQ2_XS 1233 to 1284 tokens/s; UD-Q4_K_XL at 32K with a RAM budget or the resident mode 524 to 611 tokens/s.
• Short prompts: part of the experts not in VRAM are computed on the CPU. At 262 tokens, the B70 went from 319 to 383 and the RTX 4070 from 110 to 266 tokens/s.

New features

• Conversations saved to a file and restored (session files), requests that take no checkpoint (ckpt=0), a shared beginning kept (pin=N).
• --batch with --mtp: each slot verifies an MTP draft.
• The PLE table is read in the format the GGUF has it, and native Q4_0, Q4_1, Q5_0 and Q6_K experts run on the GPU.
• Setup: --inspect (a GGUF's quantization), --source modelscope, a 200K context.

Speed against upstream

XeStrata xe0.1.40.2.1 against upstream Strata v0.1.41 on the same PC and model (Qwen3.8-Flash-Next IQ3_XXS): a coding agent's prompts, 256 output tokens, the median of two alternating runs, in tokens/s. Within ±1% counts as equal (≈).

Intel Arc Pro B70 (32 GB): upstream v0.1.41 as its sycl/ port (AOT for the B70)

Type and length	Prompt XeStrata xe0.1.40.2.1	Prompt upstream v0.1.41	Difference	Output XeStrata xe0.1.40.2.1	Output upstream v0.1.41	Difference
IQ3_XXS 1K	844	547	✅ ×1.54	82.8	34.4	✅ +141%
IQ3_XXS 4K	1,501	732	✅ ×2.0	82.4	40.6	✅ +103%
IQ3_XXS 32K	2,310	735	✅ ×3.1	79.5	28.7	✅ +177%
IQ3_XXS 64K	1,967	1,129	✅ ×1.74	74.3	36.4	✅ +104%
IQ3_XXS 128K	1,975	1,018	✅ ×1.94	75.8	30.3	✅ +150%
IQ3_XXS 262K	1,903	884	✅ ×2.2	72.1	34.3	✅ +111%

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.1.41 as its CUDA build

Type and length	Prompt XeStrata xe0.1.40.2.1	Prompt upstream v0.1.41	Difference	Output XeStrata xe0.1.40.2.1	Output upstream v0.1.41	Difference
IQ3_XXS 1K	297	258	✅ ×1.15	53.9	46.7	✅ +15%
IQ3_XXS 4K	533	526	✅ ×1.01	58.0	46.4	✅ +25%
IQ3_XXS 32K	1,142	1,143	≈ equal (−0.1%)	58.5	50.9	✅ +15%
IQ3_XXS 64K	1,068	1,070	≈ equal (−0.2%)	53.4	49.5	✅ +8%
IQ3_XXS 128K	1,042	1,043	≈ equal (±0.0%)	47.1	41.2	✅ +14%
IQ3_XXS 262K	997	997	≈ equal (±0.0%)	50.1	43.7	✅ +14%

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.41 as its HIP build

| Type and length | Prompt XeStrata xe0.1.40.2.1 | Prompt upstream v0.1.41 | Difference | Output XeStrata xe0.1.40.2.1 | Output upstream v0.1.41 | Difference |
| --- | ---: | ---: ...

XeStrata xe0.1.39

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

日本語 | English

日本語

XeStrata xe0.1.39 は、Qwen3.8-Flash-Next を Intel Arc か NVIDIA の GPU と普通の Linux の PC で動かすソフトウェアの、最初のリリースです。
版の数字は、取り込んだ Strata の版（0.1.39）に xe を付けたものです。

パッケージ

Ubuntu 26.04 と Fedora 44 向けの deb と rpm を付けています。どれか 1 つを入れます（一度に入るのは 1 つで、別のものを入れると入れ替わります）。

GPU	Ubuntu 26.04	Fedora 44
Intel（自由ソフトウェアだけで動かす）	xestrata-free	xestrata-free
Intel（速さを重視する）、NVIDIA（Turing 以降）、その両方	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
NVIDIA の Volta（V100 など）、Intel と Volta の両方	xestrata-contrib-cuda12.4	なし

sudo apt install ./xestrata-free_0.1.39_amd64.deb      # Ubuntu
sudo dnf install ./xestrata-free-0.1.39-1.x86_64.rpm   # Fedora
xestrata

• contrib の版は、どれも Intel と NVIDIA の両方の GPU で動きます。版の違いは、ビルドに使った CUDA の版と、コードを持つ NVIDIA の世代だけです。
• Intel の GPU だけの PC でも、速さを重視するなら contrib の版と oneMKL を入れます。プロンプトの密な行列積を oneMKL で計算し、XeStrata 自身のカーネルより少し速くなります（B70 で 3% ほど）。
• free の版は、Intel の GPU のランタイム（Level Zero）を推奨（Recommends）にしていて、既定で入ります。
• contrib の版は、GPU のメーカーのものを提案（Suggests）に留めています。使う GPU のものを入れてください。
  • Intel の GPU: sudo apt install libze1 libze-intel-gpu1 libigc2 libigdfcl2（Fedora は sudo dnf install oneapi-level-zero intel-level-zero）
  • NVIDIA の GPU: NVIDIA のドライバー。cuBLAS は Ubuntu の libcublas-13-1（cuda12.4 は libcublas12）、Fedora は NVIDIA の CUDA のリポジトリの libcublas-13-4
• 取ってきたファイルは sha256sum -c SHA256SUMS --ignore-missing で確かめられます。
• 詳しくは README を見てください。

前回の公開（0.1.0）からの主な変更

• NVIDIA の GPU: 同じコードを NVIDIA の GPU 向けにもビルドする contrib のビルドを足し、既定にしました。Tensor Core の経路があり、Volta から RTX 50 まで動きます。
• deb と rpm のパッケージ: xestrata のコマンドで設定と起動をします。データは XDG のフォルダに置き、xestrata --remove-data で消せます。
• 密な行列積: contrib の版は、入っていれば oneMKL（Intel）と cuBLAS（NVIDIA）を oneMath 経由で使います。なければ XeStrata 自身のカーネルで計算します。
• 複数の GPU: 同じ PC の 2 枚以上の GPU に層を分けて載せられます（--gpus、MULTIGPU）。
• 複数の要求の同時処理: 設定の "parallel": N（--parallel N）で、要求をまとめて生成します（BATCHING）。
• API: OpenAI の Responses API（POST /v1/responses）と、/v1/chat/completions の logprobs を足しました。
• setup: Unsloth の UD-IQ4_XS を選べるようにし、--no-browser、--vision-tokens N、--draft-vocab fr を足しました。
• 速さ: プロンプトのエキスパートの積を int8 の行列エンジンで計算するなど、Intel と NVIDIA の両方でプロンプトの処理と生成を速くしました。
• Strata 0.1.39 の取り込み: upstream の 0.1.38 から 0.1.39 までの変更の一部を取り込みました。

English

XeStrata xe0.1.39 is the first release of the software that runs Qwen3.8-Flash-Next on an Intel Arc or NVIDIA GPU and an ordinary Linux PC.
The version is the version of Strata it has integrated (0.1.39), marked xe.

Packages

deb and rpm packages for Ubuntu 26.04 and Fedora 44 are attached. Install one of them (one is installed at a time, and installing another replaces it).

GPU	Ubuntu 26.04	Fedora 44
Intel (free software only)	xestrata-free	xestrata-free
Intel (for speed), NVIDIA (Turing and later), or both	xestrata-contrib-cuda13.1	xestrata-contrib-cuda13.4
NVIDIA Volta (V100 and others), or Intel and Volta	xestrata-contrib-cuda12.4	none

sudo apt install ./xestrata-free_0.1.39_amd64.deb      # Ubuntu
sudo dnf install ./xestrata-free-0.1.39-1.x86_64.rpm   # Fedora
xestrata

• Every contrib package runs on both Intel and NVIDIA GPUs; they differ only in the CUDA version they were built with and the NVIDIA generations they have code for.
• On a PC with Intel GPUs only, take a contrib package and oneMKL for speed: oneMKL then does the prompt's dense matrix products, a little faster than XeStrata's own kernels (about 3% on a B70).
• The free package recommends Intel's GPU runtime (Level Zero), which is installed by default.
• The contrib packages only suggest the GPU makers' software: install the one for your GPU.
  • An Intel GPU: sudo apt install libze1 libze-intel-gpu1 libigc2 libigdfcl2 (Fedora: sudo dnf install oneapi-level-zero intel-level-zero)
  • An NVIDIA GPU: NVIDIA's driver. cuBLAS is Ubuntu's libcublas-13-1 (libcublas12 for cuda12.4), and libcublas-13-4 from NVIDIA's CUDA repository on Fedora
• sha256sum -c SHA256SUMS --ignore-missing checks the files you downloaded.
• See the README for more.

The main changes since the previous publication (0.1.0)

• NVIDIA GPUs: the contrib build, now the default, builds the same code for NVIDIA GPUs as well, with Tensor Core paths, from Volta to the RTX 50.
• deb and rpm packages: the xestrata command sets up and starts the model; the data goes to the XDG folders, and xestrata --remove-data removes it.
• Dense matrix products: the contrib packages use oneMKL (Intel) and cuBLAS (NVIDIA) through oneMath when they are installed, and XeStrata's own kernels otherwise.
• Several GPUs: the model's layers can be split across two or more GPUs of one PC (--gpus, MULTIGPU).
• Several requests at once: "parallel": N in the settings (--parallel N) generates requests together (BATCHING).
• API: OpenAI's Responses API (POST /v1/responses) and logprobs on /v1/chat/completions.
• setup: Unsloth's UD-IQ4_XS can be chosen; --no-browser, --vision-tokens N and --draft-vocab fr.
• Speed: faster prompt processing and generation on Intel and NVIDIA GPUs, the prompt's expert products on the int8 matrix engines among them.
• Strata 0.1.39: part of upstream's changes from 0.1.38 to 0.1.39.