Skip to content

XeStrata xe0.2.2-1

Latest

Choose a tag to compare

@MistVVK MistVVK released this 24 Oct 03:33
· 1645 commits to main since this release

English | 日本語

English

Warning

Intel Arc B-series, Lunar Lake and Panther Lake on Linux: the Intel graphics compiler (IGC) 2.27 to 2.30, which Ubuntu 26.04 and Debian 13 ship, miscompiles some GPU code. XeStrata turns the affected optimization off by itself, at a cost of up to 10% in the decode of short prompts. For full speed, install with Podman (below; its image brings a fixed IGC), use Fedora 44, or - on Ubuntu 24.04/26.04 with the HWE kernel - update the driver from Intel's graphics PPA: xestrata --setup prints the commands.

Every Intel GPU, a separate bug: a compute-runtime older than 26.22 (Ubuntu 26.04 ships 26.05) can refuse device memory while the card's VRAM is free: the engine then fails to start, and only a reboot brings the card back. This release makes the engine retry the cache in pieces when the driver refuses the one big allocation, and start with what the card gives. The way out is the same: update the driver (26.22 or later), or use Fedora 44 / Podman. On Ubuntu 24.04/26.04 with the HWE kernel, xestrata --setup stops before starting and prints the PPA commands; --old-driver starts anyway.

Install on Linux

1. Podman

Only Podman and podman-compose go on the host. XeStrata goes into a Fedora 44 container, from this release's rpm (rootless).

git clone https://github.com/MistVVK/XeStrata && cd XeStrata/container
mkdir -p ~/.config/xestrata ~/.local/state/xestrata ~/.local/share/xestrata
export PODMAN_COMPOSE_PROVIDER=podman-compose
podman compose build                         # the image, with the latest release and the GPU libraries
podman compose run --rm xestrata --setup     # answer the questions; it downloads the model
podman compose up -d                         # http://127.0.0.1:8095 (podman compose down stops it)
  • podman-compose: PODMAN_COMPOSE_PROVIDER makes podman compose run podman-compose. Where Docker's compose plugin is installed too, it is taken otherwise, and stops unless Podman's API socket runs.
  • GPU: Intel's as it is. For AMD add -f compose.yaml -f compose.amd.yaml after podman compose, for NVIDIA -f compose.yaml -f compose.nvidia.yaml (or export COMPOSE_FILE=compose.yaml:compose.nvidia.yaml). NVIDIA needs the NVIDIA Container Toolkit's CDI specification on the host. The container has cuda13.4, so Pascal and Volta (P100, P40, the GTX 10 series, V100) are not used.
  • What the host needs: the GPU's driver, and your user in the render group (sudo usermod -aG render $USER).

2. apt / dnf

  1. Pick the package for your GPU from the table below and download it (with SHA256SUMS).
  2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
  3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.2.2-1_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.2.2-1.x86_64.rpm (Fedora).
  4. Run xestrata --setup in a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, then xestrata --setup again.

Note

Without an NVIDIA GPU, either CUDA version works the same.

GPU Ubuntu 26.04 Fedora 44
Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later) xestrata-contrib-cuda13.1 xestrata-contrib-cuda13.4
Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others) xestrata-contrib-cuda12.4 none

Install on Windows

  1. Download XeStrata-0.2.2-1-windows-x64.7z (with SHA256SUMS) and unpack it into a folder of your choice.
  2. Start xestrata.exe. It takes you through the install (the GPU and the model, the download) and the start on screen. On the console, xestrata-cli.exe (used as xestrata on Linux).
  • What it needs: the .NET 10 runtime, the Visual C++ Redistributable and the GPU's driver.
  • GPUs: Intel, NVIDIA (from Pascal on) and, new in this release, AMD (RDNA2 and later; Adrenalin 26.5.1 or a later driver).
  • oneMKL: on an Intel GPU, the prompt's dense products take Intel's oneMKL 2026.2 where it is installed (the 7z does not carry it); without it, XeStrata's own kernels.
  • Where things go: nothing is written into the 7z's folder. The settings go to %APPDATA%\xestrata, the logs and the rest to %LOCALAPPDATA%\xestrata, the models to the data folder (by default %LOCALAPPDATA%\xestrata\data).

Also in this release

  • There is no free-software-only package (xestrata-free); build it from the source as docs/BUILD.md describes.
  • The version changed, so conversations saved with --conversation-save by an earlier version are not read.
  • This release carries upstream Strata up to v0.2.2.

New

  • GLM-5.3-Flash (BETA): Z.ai's 320B thinking MoE (18B a token), for a PC whose RAM and VRAM together hold it (UD-IQ1_S: about 101 GB). It drafts tokens with its MTP layer.
  • Gyro-S and Gyro-M (agentionai): Qwen3.8-Flash-Next in the trellis quantization, on the CPU and the GPU.
  • Mage-Flow (Microsoft): image generation and edits with a small 4B model (--images mage-flow-turbo, 4 steps), for PCs with little RAM or VRAM; also mage-flow and mage-flow-base. Qwen-Image-2.1 itself (qwen-image-base, 40 steps) can be chosen too, and -uncensored takes a text encoder with its refusal direction removed.
  • Images through the API (Qwen-Image): a mask redraws part of an image, background makes it transparent, and output_format gives jpeg or webp.
  • Windows on AMD GPUs: RDNA2 and later, in the same 7z.

Faster

Against xe0.1.45-1, measured the same way:

  • A PC whose RAM cannot hold the model (low-RAM mode, --mmap-experts): on Linux the experts the GPU does not hold are computed from the page cache without a copy, the next layers' experts are read ahead, and the checks are sized for the SSD; two GPUs with a layer split read ahead too. IQ3_XXS with 32 GB of RAM, decode at 1K: 11.6 → 26.0 tok/s on the RX 9060 XT (upstream 22.7), 46.9 → 56.5 on the B70, 13.3 → 34.8 on the RTX 4070; at 32K on the RX 9060 XT 11.2 → 17.4.
  • Image generation: Qwen-Image-2.1-Turbo, one 1024×1024 image of 8 steps: 7.7 → 4.0 s on the Arc Pro B70, 22.2 → 9.3 s on the RX 9060 XT. Mage-Flow-Turbo makes one in 0.8 s on the B70, 1.1 s on the RTX 4070 and 1.6 s on the RX 9060 XT.
  • Decode where the CPU computes many experts: the VRAM expert cache now swaps in the experts the text turns to every 4 tokens instead of every 16 when the CPU takes a large share of the time (decided by itself, no setting). IQ3_XXS on the RTX 4070: 64K 56.3 → 64.7 tok/s, 262K 52.2 → 58.1; on the RX 9060 XT 262K 44.1 → 47.2.
  • Long prompts on the RTX 4070: IQ3_XXS 32K prefill 1,167 → 1,956 tok/s, 262K 1,018 → 1,427 tok/s.
  • Decode on the B70: IQ3_XXS +4-9% (1K: 80.5 → 87.4 tok/s, 262K: 75.7 → 80.6).

Fixed

  • A B70 at 262K no longer fails when a speculative window's graph does not fit the VRAM: the window shrinks to one that fits.
  • serve: a max_tokens that does not fit the context is shortened to the room left instead of answered with 400; an engine that cannot start answers 503 with its reason; a tool call one token off is read as a call.
  • Safety: serve no longer fetches a request's image from the server itself or its LAN, reads at most 32 MiB of an edit's file, and writes the run settings readable by you alone; setup checks llama.cpp's source and the MTP layer against pinned SHA-256s.
  • Downloads: a file whose SHA-256 does not match is not deleted; only its differing pieces are fetched again. Your files under --gguf-dir are never deleted.
  • Tuning (--calibrate): it is usually not needed, as the engine and setup fit the settings to the PC themselves; it now asks before measuring, and setup no longer offers it after an install. It no longer measures or writes --spec-min-p, which the engine's own window sizing ignores.

Speed against upstream

XeStrata xe0.2.2-1 against upstream Strata v0.2.2, on the same PC and model (Qwen3.8-Flash-Next's IQ3_XXS and Gyro-M); the images against ComfyUI too. Linux; a Core i7-14700 with DDR4-3200, the RX 9060 XT on a Ryzen 7 5700X.

Note

  • generate: temperature 0 (greedy), both engines following one text. Within ±1% counts as ≈ equal.
  • serve and everyday use: temperature 0.7, each engine writing its own text, so a run can land about 10% off the median. Within ±1% for prefill and ±5% for the wait, decode and first token counts as ≈ equal. A conversation is compared over the turns both engines reached (the agent goes on only while the model calls a tool).
  • image generation: the time of an image from a fixed prompt and seed: XeStrata and upstream as their own setups set them up on the GPU, ComfyUI the second image after its start. Within ±1% counts as ≈ equal.
  • All are the median of two alternating runs.

Intel Arc Pro B70 (32 GB): upstream v0.2.2 is its sycl/ build

generate (temperature 0, tokens/s)

Type and length prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 difference decode XeStrata xe0.2.2-1 decode upstream v0.2.2 difference
IQ3_XXS 1K 1,173 393 ✅ ×3.0 87.4 58.9 ✅ +48%
IQ3_XXS 4K 1,639 917 ✅ ×1.8 80.9 56.5 ✅ +43%
IQ3_XXS 32K 2,487 1,265 ✅ ×2.0 91.9 58.4 ✅ +57%
IQ3_XXS 64K 2,513 1,392 ✅ ×1.8 87.3 60.7 ✅ +44%
IQ3_XXS 128K 2,464 1,263 ✅ ×2.0 72.9 60.0 ✅ +22%
IQ3_XXS 262K 2,337 1,061 ✅ ×2.2 80.6 55.2 ✅ +46%
Gyro-M 32K 2,262 1,088 ✅ ×2.1 90.8 75.0 ✅ +21%
Gyro-M 1K 754 570 ✅ ×1.3 97.8 84.8 ✅ +15%

serve and everyday use (temperature 0.7)

Measure XeStrata xe0.2.2-1 upstream v0.2.2 difference
serve 32K first prefill (tok/s) 2,469 1,273 ✅ ×1.9
serve 32K wait for a follow-up (ms) 175 297 ✅ −41%
serve 32K decode (tok/s) 84.6 55.6 ✅ +52%
chat-ja first token (s) 0.44 0.63 ✅ −30%
chat-ja decode (tok/s) 67.9 42.2 ✅ +61%
agent first token (s) 0.78 1.06 ✅ −26%
agent prefill (tok/s) 566 387 ✅ ×1.5
agent decode (tok/s) 91.6 65.8 ✅ +39%

image generation (1024×1024, seconds)

Model Engine image sampling VAE against XeStrata (image)
Qwen-Image-2.1-Turbo (8 steps) XeStrata xe0.2.2-1 (Q8_0) 4.0 3.4 0.4
upstream v0.2.2 (Vulkan, Q8_0) 51.1 46.0 3.1 ✅ ×12.8
ComfyUI 7a28332 (int8) 10.2 8.1 - ✅ ×2.5
Mage-Flow-Turbo (4 steps) XeStrata xe0.2.2-1 (FP16) 0.8 0.7 0.1
ComfyUI 7a28332 (int8) 2.1 1.3 - ✅ ×2.6
ComfyUI 7a28332 (bf16) 1.0 0.5 - ✅ ×1.2
upstream v0.2.2 not in upstream

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.2.2 is its CUDA build

generate (temperature 0, tokens/s)

Type and length prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 difference decode XeStrata xe0.2.2-1 decode upstream v0.2.2 difference
IQ3_XXS 1K 301 260 ✅ ×1.2 61.3 46.8 ✅ +31%
IQ3_XXS 4K 544 526 ✅ ×1.03 60.6 45.3 ✅ +34%
IQ3_XXS 32K 1,956 1,143 ✅ ×1.7 64.1 51.3 ✅ +25%
IQ3_XXS 64K 1,865 1,070 ✅ ×1.7 64.7 46.8 ✅ +38%
IQ3_XXS 128K 1,499 1,043 ✅ ×1.4 60.6 43.4 ✅ +40%
IQ3_XXS 262K 1,427 996 ✅ ×1.4 58.1 43.3 ✅ +34%
Gyro-M 32K 1,415 1,308 ✅ ×1.08 53.0 46.1 ✅ +15%
Gyro-M 1K 387 345 ✅ ×1.1 47.9 43.8 ✅ +9%

serve and everyday use (temperature 0.7)

Measure XeStrata xe0.2.2-1 upstream v0.2.2 difference
serve 32K first prefill (tok/s) 1,943 1,136 ✅ ×1.7
serve 32K wait for a follow-up (ms) 215 260 ✅ −17%
serve 32K decode (tok/s) 75.0 59.6 ✅ +26%
chat-ja first token (s) 0.68 0.92 ✅ −26%
chat-ja decode (tok/s) 67.5 58.7 ✅ +15%
agent first token (s) 3.48 3.66 ✅ −5%
agent prefill (tok/s) 321 301 ✅ ×1.1
agent decode (tok/s) 66.8 53.7 ✅ +24%

image generation (1024×1024, seconds)

Model Engine image sampling VAE against XeStrata (image)
Qwen-Image-2.1-Turbo (8 steps) XeStrata xe0.2.2-1 (Q6_K) 13.1 10.6 0.7
upstream v0.2.2 (CUDA, Q6_K) 17.5 12.5 2.0 ✅ ×1.3
ComfyUI 7a28332 (int8) 19.6 15.4 - ✅ ×1.5
Mage-Flow-Turbo (4 steps) XeStrata xe0.2.2-1 (FP16) 1.1 0.9 0.1
ComfyUI 7a28332 (int8) 3.6 2.1 - ✅ ×3.3
ComfyUI 7a28332 (bf16) 3.6 0.7 - ✅ ×3.3
upstream v0.2.2 not in upstream

AMD Radeon RX 9060 XT (16 GB): upstream v0.2.2 is its HIP build

generate (temperature 0, tokens/s)

Type and length prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 difference decode XeStrata xe0.2.2-1 decode upstream v0.2.2 difference
IQ3_XXS 1K 662 314 ✅ ×2.1 53.7 48.7 ✅ +10%
IQ3_XXS 4K 1,026 383 ✅ ×2.7 48.1 45.0 ✅ +7%
IQ3_XXS 32K 1,269 469 ✅ ×2.7 55.9 47.2 ✅ +18%
IQ3_XXS 64K 1,283 463 ✅ ×2.8 52.5 47.6 ✅ +10%
IQ3_XXS 128K 1,236 464 ✅ ×2.7 45.8 43.9 ✅ +4%
IQ3_XXS 262K 1,155 455 ✅ ×2.5 47.2 41.3 ✅ +14%
Gyro-M 32K 1,085 452 ✅ ×2.4 49.3 47.1 ✅ +5%
Gyro-M 1K 428 335 ✅ ×1.3 56.3 53.1 ✅ +6%

serve and everyday use (temperature 0.7)

Measure XeStrata xe0.2.2-1 upstream v0.2.2 difference
serve 32K first prefill (tok/s) 1,180 467 ✅ ×2.5
serve 32K wait for a follow-up (ms) 258 336 ✅ −23%
serve 32K decode (tok/s) 59.4 59.1 ≈ equal (+1%)
chat-ja first token (s) 0.71 0.9 ✅ −21%
chat-ja decode (tok/s) 46.6 46.0 ≈ equal (+1%)
agent first token (s) 1.45 2.22 ✅ −35%
agent prefill (tok/s) 297 187 ✅ ×1.6
agent decode (tok/s) 46.5 47.5 ≈ equal (−2%)

image generation (1024×1024, seconds)

Model Engine image sampling VAE against XeStrata (image)
Qwen-Image-2.1-Turbo (8 steps) XeStrata xe0.2.2-1 (Q8_0) 9.3 7.2 1.0
upstream v0.2.2 (HIP, Q8_0) 61.2 51.4 5.7 ✅ ×6.6
ComfyUI 7a28332 (int8, --reserve-vram 3) 14.0 7.3 - ✅ ×1.5
Mage-Flow-Turbo (4 steps) XeStrata xe0.2.2-1 (FP16) 1.6 1.4 0.1
ComfyUI 7a28332 (int8) 2.0 0.6 - ✅ ×1.2
ComfyUI 7a28332 (bf16) 4.8 0.6 - ✅ ×3.0
upstream v0.2.2 not in upstream

日本語

Warning

Linux の Intel Arc B シリーズ・Lunar Lake・Panther Lake: Ubuntu 26.04 と Debian 13 が入れる Intel のグラフィックスのコンパイラー(IGC)2.27〜2.30 は、GPU のコードの一部を誤ってコンパイルします。XeStrata は該当する最適化を自動で切るので動きますが、短い prompt の decode が最大 10% 遅くなります。本来の速さで使うには、Podman で入れる(下の手順。中の IGC は直った版です)、Fedora 44 を使う、または Ubuntu 24.04/26.04 で HWE カーネルなら Intel の graphics PPA でドライバーを更新してください(xestrata --setup がコマンドを出します)。

すべての Intel GPU に、別の不具合: 26.22 より古い compute-runtime(Ubuntu 26.04 は 26.05 を入れます)は、カードの VRAM に空きがあっても GPU メモリの確保を断ることがあります。エンジンは起動に失敗し、カードは再起動しないと戻りません。この版から、エンジンは一括の確保を断られたときに expert cache を小分けで取り直し、確保できた分だけで起動します。抜け道は同じで、ドライバーを 26.22 以降に更新するか、Fedora 44 / Podman を使ってください。Ubuntu 24.04/26.04 で HWE カーネルなら、xestrata --setup は起動の前に止まって PPA のコマンドを出します(--old-driver でそのまま起動できます)。

Linux に入れる

1. Podman

ホストに入れるのは Podman と podman-compose だけ。XeStrata は Fedora 44 のコンテナの中に、このリリースの rpm から入る(rootless)。

git clone https://github.com/MistVVK/XeStrata && cd XeStrata/container
mkdir -p ~/.config/xestrata ~/.local/state/xestrata ~/.local/share/xestrata
export PODMAN_COMPOSE_PROVIDER=podman-compose
podman compose build                         # 最新のリリースと GPU のライブラリを入れたイメージを作る
podman compose run --rm xestrata --setup     # 質問に答えてモデルを取ってくる
podman compose up -d                         # http://127.0.0.1:8095(止めるときは podman compose down)
  • podman-compose: PODMAN_COMPOSE_PROVIDER で、podman compose に podman-compose を使わせる。Docker の compose プラグインも入った PC では、指定しないとそちらが選ばれ、Podman の API のソケットが動いていないと止まる。
  • GPU: Intel はこのまま。AMD は -f compose.yaml -f compose.amd.yaml、NVIDIA は -f compose.yaml -f compose.nvidia.yaml を podman compose の後に付ける(export COMPOSE_FILE=compose.yaml:compose.nvidia.yaml でも同じ)。NVIDIA はホストに NVIDIA Container Toolkit の CDI の設定が要る。コンテナの中は cuda13.4 なので、Pascal と Volta(P100、P40、GTX 10 シリーズ、V100 など)は使えない。
  • ホストに要るもの: GPU のドライバーと、自分が render グループに入っていること(sudo usermod -aG render $USER)。

2. apt / dnf

  1. 下の表から GPU に合うパッケージを選び、SHA256SUMS と一緒にダウンロードする。
  2. 確かめる: sha256sum -c SHA256SUMS --ignore-missing
  3. 入れる: sudo apt install ./xestrata-contrib-cuda13.1_0.2.2-1_amd64.deb(Ubuntu)または sudo dnf install ./xestrata-contrib-cuda13.4-0.2.2-1.x86_64.rpm(Fedora)
  4. 端末で xestrata --setup を実行する。GPU のライブラリや render グループが足りなければ、入れるコマンドを表示して止まるので、そのコマンドを実行してから、もう一度 xestrata --setup を実行する。

Note

NVIDIA の GPU がなければ、どちらの CUDA の版でも同じように動きます。

GPU Ubuntu 26.04 Fedora 44
おすすめ: Intel、AMD(RDNA2 以降)、NVIDIA(Turing 以降) xestrata-contrib-cuda13.1 xestrata-contrib-cuda13.4
Intel、AMD(RDNA2 以降)、NVIDIA の Pascal と Volta(P100、P40、GTX 10 シリーズ、V100 など) xestrata-contrib-cuda12.4 なし

Windows に入れる

  1. XeStrata-0.2.2-1-windows-x64.7z を SHA256SUMS と一緒にダウンロードし、好きなフォルダーに展開する。
  2. xestrata.exe を起動する。インストール(GPU とモデルの選択、ダウンロード)と起動を画面で案内します。コンソールでは xestrata-cli.exe(Linux の xestrata と同じ使い方)。
  • 必要なもの: .NET 10 のランタイム、Visual C++ 再頒布可能パッケージ、GPU のドライバー。
  • GPU: Intel、NVIDIA(Pascal 以降)、それにこの版から AMD(RDNA2 以降。Adrenalin 26.5.1 以降のドライバー)。
  • oneMKL: Intel の GPU では、Intel の oneMKL 2026.2 が入っていれば prompt の密な積に使います(7z には入っていません)。なければ XeStrata 自身のカーネルで動きます。
  • 置き場所: 7z のフォルダーには何も書きません。設定は %APPDATA%\xestrata、ログなどは %LOCALAPPDATA%\xestrata、モデルはデータのフォルダー(既定は %LOCALAPPDATA%\xestrata\data)です。

ほかに

  • このリリースには自由ソフトウェアだけのパッケージ(xestrata-free)はありません。docs/BUILD.ja.md のとおりソースから作れます。
  • 版が変わったので、前の版の --conversation-save で保存した会話は読みません。
  • このリリースは upstream の Strata v0.2.2 までを取り込んでいます。

新しくできること

  • GLM-5.3-Flash(BETA): Z.ai の 320B の思考する MoE(1 トークン 18B)。RAM と VRAM を合わせてモデルが入る PC 向けです(UD-IQ1_S で約 101 GB)。MTP の層で下書きを作ります。
  • Gyro-S と Gyro-M(agentionai): trellis の量子化の Qwen3.8-Flash-Next を、CPU と GPU で動かせます。
  • Mage-Flow(Microsoft): 4B の小さなモデルでの画像の生成と編集(--images mage-flow-turbo、4 ステップ)。RAM や VRAM の少ない PC 向けです。mage-flow・mage-flow-base も選べます。Qwen-Image-2.1 本体(qwen-image-base、40 ステップ)も選べ、-uncensored で拒否の方向を取り除いたテキストエンコーダーを使います。
  • API での画像(Qwen-Image): mask で画像の一部を描き直し、background で透過にし、output_format で jpeg・webp を返します。
  • Windows で AMD の GPU: RDNA2 以降。同じ 7z で動きます。

速くなったこと

xe0.1.45-1 と同じ測り方で比べて:

  • RAM にモデルが入らない PC(省 RAM モード、--mmap-experts): Linux では、GPU が持たないエキスパートをページキャッシュから写さずに計算し、次の層のエキスパートを先に読み、確かめる窓を SSD に合わせて決めます。2 枚の GPU で層を分けても先読みします。IQ3_XXS・RAM 32 GB の 1K の decode は、RX 9060 XT で 11.6 → 26.0 tok/s(upstream 22.7)、B70 で 46.9 → 56.5、RTX 4070 で 13.3 → 34.8。RX 9060 XT の 32K は 11.2 → 17.4。
  • 画像の生成: Qwen-Image-2.1-Turbo の 1024×1024・8 ステップの 1 枚は、Arc Pro B70 で 7.7 → 4.0 秒、RX 9060 XT で 22.2 → 9.3 秒。Mage-Flow-Turbo なら B70 で 0.8 秒、RTX 4070 で 1.1 秒、RX 9060 XT で 1.6 秒です。
  • CPU がたくさんのエキスパートを計算する PC の decode: CPU の時間の割合が大きいときは、VRAM のエキスパートのキャッシュが、文が向かったエキスパートを 16 トークンごとではなく 4 トークンごとに入れ替えます(自動で決まり、設定は要りません)。IQ3_XXS で RTX 4070 は 64K 56.3 → 64.7 tok/s、262K 52.2 → 58.1、RX 9060 XT は 262K 44.1 → 47.2。
  • RTX 4070 での長いプロンプト: IQ3_XXS の 32K の prefill 1,167 → 1,956 tok/s、262K 1,018 → 1,427 tok/s。
  • B70 の decode: IQ3_XXS で +4〜9%(1K: 80.5 → 87.4 tok/s、262K: 75.7 → 80.6)。

直したこと

  • B70 の 262K: 推測デコードの窓のグラフが VRAM に入らないときに落ちなくなりました。入る大きさに窓を縮めます。
  • serve: 文脈に収まらない max_tokens は 400 にせず、残りの余地まで縮めます。起動できないエンジンは理由つきの 503 を返します。1 トークンずれたツールの呼び出しも呼び出しとして読みます。
  • 安全: serve は要求の画像をサーバー自身やその LAN のアドレスから取らず、編集のファイルは 32 MiB まで読み、実行の設定は本人だけが読めるように書きます。setup は llama.cpp のソースと MTP の層を、固定した SHA-256 で確かめます。
  • ダウンロード: SHA-256 が合わないファイルを消さず、違う部分だけ取り直します。--gguf-dir の自分のファイルは消しません。
  • 調整(--calibrate): エンジンと setup が PC に合わせるので、ふつうは要りません。測る前に聞くようにし、インストールの後に勧めるのもやめました。エンジンが窓の長さを自分で決めるので、使われない --spec-min-p を測ったり書いたりしなくなりました。

upstream との速さの比較

XeStrata xe0.2.2-1 と upstream Strata v0.2.2 を、同じ PC・同じモデル(Qwen3.8-Flash-Next の IQ3_XXS と Gyro-M)で比べました。画像は ComfyUI とも比べています。Linux、開発機は Core i7-14700・DDR4-3200、RX 9060 XT は Ryzen 7 5700X の PC です。

Note

  • generate:温度 0(greedy)。両方のエンジンが同じ続きの文をなぞります。差が ±1% 以内なら ≒ 同等です。
  • serve と通常使用:温度 0.7 で、それぞれのエンジンが自分の文を書くので、1 回ごとに中央値から 10% 前後ずれることがあります。差が prefill は ±1% 以内、待ち・decode・最初のトークンは ±5% 以内なら ≒ 同等です。会話は、両方のエンジンが届いたターンだけで比べます(agent はモデルがツールを呼ぶ間だけ次のターンへ進みます)。
  • 画像の生成:決まったプロンプトと種で 1 枚ずつ作った時間です。XeStrata と upstream はそれぞれの setup がその GPU に選ぶ作り方で、ComfyUI は起動して 1 枚作った後の 2 枚目です。差が ±1% 以内なら ≒ 同等です。
  • どれも、交互に 2 回ずつ測った中央値です。

Intel Arc Pro B70 (32 GB): upstream v0.2.2 は sycl/ 版

generate(温度 0、トークン/秒)

形式・長さ prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 差 decode XeStrata xe0.2.2-1 decode upstream v0.2.2 差
IQ3_XXS 1K 1,173 393 ✅ 3.0 倍 87.4 58.9 ✅ +48%
IQ3_XXS 4K 1,639 917 ✅ 1.8 倍 80.9 56.5 ✅ +43%
IQ3_XXS 32K 2,487 1,265 ✅ 2.0 倍 91.9 58.4 ✅ +57%
IQ3_XXS 64K 2,513 1,392 ✅ 1.8 倍 87.3 60.7 ✅ +44%
IQ3_XXS 128K 2,464 1,263 ✅ 2.0 倍 72.9 60.0 ✅ +22%
IQ3_XXS 262K 2,337 1,061 ✅ 2.2 倍 80.6 55.2 ✅ +46%
Gyro-M 32K 2,262 1,088 ✅ 2.1 倍 90.8 75.0 ✅ +21%
Gyro-M 1K 754 570 ✅ 1.3 倍 97.8 84.8 ✅ +15%

serve と通常使用(温度 0.7)

計測 XeStrata xe0.2.2-1 upstream v0.2.2 差
serve 32K 最初の prefill (tok/s) 2,469 1,273 ✅ 1.9 倍
serve 32K 会話の続きの待ち (ms) 175 297 ✅ −41%
serve 32K decode (tok/s) 84.6 55.6 ✅ +52%
chat-ja 最初のトークン (s) 0.44 0.63 ✅ −30%
chat-ja decode (tok/s) 67.9 42.2 ✅ +61%
agent 最初のトークン (s) 0.78 1.06 ✅ −26%
agent prefill (tok/s) 566 387 ✅ 1.5 倍
agent decode (tok/s) 91.6 65.8 ✅ +39%

画像の生成(1024×1024、秒)

モデル エンジン 1 枚 サンプリング VAE XeStrata との差(1 枚)
Qwen-Image-2.1-Turbo(8 ステップ) XeStrata xe0.2.2-1(Q8_0) 4.0 3.4 0.4
upstream v0.2.2(Vulkan、Q8_0) 51.1 46.0 3.1 ✅ 12.8 倍
ComfyUI 7a28332(int8) 10.2 8.1 - ✅ 2.5 倍
Mage-Flow-Turbo(4 ステップ) XeStrata xe0.2.2-1(FP16) 0.8 0.7 0.1
ComfyUI 7a28332(int8) 2.1 1.3 - ✅ 2.6 倍
ComfyUI 7a28332(bf16) 1.0 0.5 - ✅ 1.2 倍
upstream v0.2.2 upstream にない

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.2.2 は CUDA 版

generate(温度 0、トークン/秒)

形式・長さ prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 差 decode XeStrata xe0.2.2-1 decode upstream v0.2.2 差
IQ3_XXS 1K 301 260 ✅ 1.2 倍 61.3 46.8 ✅ +31%
IQ3_XXS 4K 544 526 ✅ 1.03 倍 60.6 45.3 ✅ +34%
IQ3_XXS 32K 1,956 1,143 ✅ 1.7 倍 64.1 51.3 ✅ +25%
IQ3_XXS 64K 1,865 1,070 ✅ 1.7 倍 64.7 46.8 ✅ +38%
IQ3_XXS 128K 1,499 1,043 ✅ 1.4 倍 60.6 43.4 ✅ +40%
IQ3_XXS 262K 1,427 996 ✅ 1.4 倍 58.1 43.3 ✅ +34%
Gyro-M 32K 1,415 1,308 ✅ 1.08 倍 53.0 46.1 ✅ +15%
Gyro-M 1K 387 345 ✅ 1.1 倍 47.9 43.8 ✅ +9%

serve と通常使用(温度 0.7)

計測 XeStrata xe0.2.2-1 upstream v0.2.2 差
serve 32K 最初の prefill (tok/s) 1,943 1,136 ✅ 1.7 倍
serve 32K 会話の続きの待ち (ms) 215 260 ✅ −17%
serve 32K decode (tok/s) 75.0 59.6 ✅ +26%
chat-ja 最初のトークン (s) 0.68 0.92 ✅ −26%
chat-ja decode (tok/s) 67.5 58.7 ✅ +15%
agent 最初のトークン (s) 3.48 3.66 ✅ −5%
agent prefill (tok/s) 321 301 ✅ 1.1 倍
agent decode (tok/s) 66.8 53.7 ✅ +24%

画像の生成(1024×1024、秒)

モデル エンジン 1 枚 サンプリング VAE XeStrata との差(1 枚)
Qwen-Image-2.1-Turbo(8 ステップ) XeStrata xe0.2.2-1(Q6_K) 13.1 10.6 0.7
upstream v0.2.2(CUDA、Q6_K) 17.5 12.5 2.0 ✅ 1.3 倍
ComfyUI 7a28332(int8) 19.6 15.4 - ✅ 1.5 倍
Mage-Flow-Turbo(4 ステップ) XeStrata xe0.2.2-1(FP16) 1.1 0.9 0.1
ComfyUI 7a28332(int8) 3.6 2.1 - ✅ 3.3 倍
ComfyUI 7a28332(bf16) 3.6 0.7 - ✅ 3.3 倍
upstream v0.2.2 upstream にない

AMD Radeon RX 9060 XT (16 GB): upstream v0.2.2 は HIP 版

generate(温度 0、トークン/秒)

形式・長さ prefill XeStrata xe0.2.2-1 prefill upstream v0.2.2 差 decode XeStrata xe0.2.2-1 decode upstream v0.2.2 差
IQ3_XXS 1K 662 314 ✅ 2.1 倍 53.7 48.7 ✅ +10%
IQ3_XXS 4K 1,026 383 ✅ 2.7 倍 48.1 45.0 ✅ +7%
IQ3_XXS 32K 1,269 469 ✅ 2.7 倍 55.9 47.2 ✅ +18%
IQ3_XXS 64K 1,283 463 ✅ 2.8 倍 52.5 47.6 ✅ +10%
IQ3_XXS 128K 1,236 464 ✅ 2.7 倍 45.8 43.9 ✅ +4%
IQ3_XXS 262K 1,155 455 ✅ 2.5 倍 47.2 41.3 ✅ +14%
Gyro-M 32K 1,085 452 ✅ 2.4 倍 49.3 47.1 ✅ +5%
Gyro-M 1K 428 335 ✅ 1.3 倍 56.3 53.1 ✅ +6%

serve と通常使用(温度 0.7)

計測 XeStrata xe0.2.2-1 upstream v0.2.2 差
serve 32K 最初の prefill (tok/s) 1,180 467 ✅ 2.5 倍
serve 32K 会話の続きの待ち (ms) 258 336 ✅ −23%
serve 32K decode (tok/s) 59.4 59.1 ≒ 同等(+1%)
chat-ja 最初のトークン (s) 0.71 0.9 ✅ −21%
chat-ja decode (tok/s) 46.6 46.0 ≒ 同等(+1%)
agent 最初のトークン (s) 1.45 2.22 ✅ −35%
agent prefill (tok/s) 297 187 ✅ 1.6 倍
agent decode (tok/s) 46.5 47.5 ≒ 同等(−2%)

画像の生成(1024×1024、秒)

モデル エンジン 1 枚 サンプリング VAE XeStrata との差(1 枚)
Qwen-Image-2.1-Turbo(8 ステップ) XeStrata xe0.2.2-1(Q8_0) 9.3 7.2 1.0
upstream v0.2.2(HIP、Q8_0) 61.2 51.4 5.7 ✅ 6.6 倍
ComfyUI 7a28332(int8、--reserve-vram 3) 14.0 7.3 - ✅ 1.5 倍
Mage-Flow-Turbo(4 ステップ) XeStrata xe0.2.2-1(FP16) 1.6 1.4 0.1
ComfyUI 7a28332(int8) 2.0 0.6 - ✅ 1.2 倍
ComfyUI 7a28332(bf16) 4.8 0.6 - ✅ 3.0 倍
upstream v0.2.2 upstream にない