Repository navigation
English
Warning
Intel Arc B-series, Lunar Lake and Panther Lake on Linux: the Intel graphics compiler (IGC) 2.27 to 2.30, which Ubuntu 26.04 and Debian 13 ship, miscompiles some GPU code. XeStrata turns the affected optimization off by itself, at a cost of up to 10% in the decode of short prompts. For full speed, install with Podman (below; its image brings a fixed IGC), use Fedora 44, or - on Ubuntu 24.04/26.04 with the HWE kernel - update the driver from Intel's graphics PPA: xestrata --setup prints the commands.
Every Intel GPU, a separate bug: a compute-runtime older than 26.22 (Ubuntu 26.04 ships 26.05) can refuse device memory while the card's VRAM is free: the engine then fails to start, and only a reboot brings the card back. This release makes the engine retry the cache in pieces when the driver refuses the one big allocation, and start with what the card gives. The way out is the same: update the driver (26.22 or later), or use Fedora 44 / Podman. On Ubuntu 24.04/26.04 with the HWE kernel, xestrata --setup stops before starting and prints the PPA commands; --old-driver starts anyway.
Install on Linux
1. Podman
Only Podman and podman-compose go on the host. XeStrata goes into a Fedora 44 container, from this release's rpm (rootless).
git clone https://github.com/MistVVK/XeStrata && cd XeStrata/container
mkdir -p ~/.config/xestrata ~/.local/state/xestrata ~/.local/share/xestrata
export PODMAN_COMPOSE_PROVIDER=podman-compose
podman compose build # the image, with the latest release and the GPU libraries
podman compose run --rm xestrata --setup # answer the questions; it downloads the model
podman compose up -d # http://127.0.0.1:8095 (podman compose down stops it)- podman-compose:
PODMAN_COMPOSE_PROVIDERmakespodman composerun podman-compose. Where Docker's compose plugin is installed too, it is taken otherwise, and stops unless Podman's API socket runs. - GPU: Intel's as it is. For AMD add
-f compose.yaml -f compose.amd.yamlafterpodman compose, for NVIDIA-f compose.yaml -f compose.nvidia.yaml(orexport COMPOSE_FILE=compose.yaml:compose.nvidia.yaml). NVIDIA needs the NVIDIA Container Toolkit's CDI specification on the host. The container has cuda13.4, so Pascal and Volta (P100, P40, the GTX 10 series, V100) are not used. - What the host needs: the GPU's driver, and your user in the render group (
sudo usermod -aG render $USER).
2. apt / dnf
- Pick the package for your GPU from the table below and download it (with
SHA256SUMS). - Check it:
sha256sum -c SHA256SUMS --ignore-missing. - Install it:
sudo apt install ./xestrata-contrib-cuda13.1_0.2.2-1_amd64.deb(Ubuntu) orsudo dnf install ./xestrata-contrib-cuda13.4-0.2.2-1.x86_64.rpm(Fedora). - Run
xestrata --setupin a terminal. If a GPU library or the render group is missing, it prints the command that installs it and stops; run that command, thenxestrata --setupagain.
Note
Without an NVIDIA GPU, either CUDA version works the same.
| GPU | Ubuntu 26.04 | Fedora 44 |
|---|---|---|
| Recommended: Intel, AMD (RDNA2 or later), NVIDIA (Turing or later) | xestrata-contrib-cuda13.1 |
xestrata-contrib-cuda13.4 |
| Intel, AMD (RDNA2 or later), NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and others) | xestrata-contrib-cuda12.4 |
none |
Install on Windows
- Download
XeStrata-0.2.2-1-windows-x64.7z(withSHA256SUMS) and unpack it into a folder of your choice. - Start
xestrata.exe. It takes you through the install (the GPU and the model, the download) and the start on screen. On the console,xestrata-cli.exe(used asxestrataon Linux).
- What it needs: the .NET 10 runtime, the Visual C++ Redistributable and the GPU's driver.
- GPUs: Intel, NVIDIA (from Pascal on) and, new in this release, AMD (RDNA2 and later; Adrenalin 26.5.1 or a later driver).
- oneMKL: on an Intel GPU, the prompt's dense products take Intel's oneMKL 2026.2 where it is installed (the 7z does not carry it); without it, XeStrata's own kernels.
- Where things go: nothing is written into the 7z's folder. The settings go to
%APPDATA%\xestrata, the logs and the rest to%LOCALAPPDATA%\xestrata, the models to the data folder (by default%LOCALAPPDATA%\xestrata\data).
Also in this release
- There is no free-software-only package (
xestrata-free); build it from the source as docs/BUILD.md describes. - The version changed, so conversations saved with
--conversation-saveby an earlier version are not read. - This release carries upstream Strata up to v0.2.2.
New
- GLM-5.3-Flash (BETA): Z.ai's 320B thinking MoE (18B a token), for a PC whose RAM and VRAM together hold it (UD-IQ1_S: about 101 GB). It drafts tokens with its MTP layer.
- Gyro-S and Gyro-M (agentionai): Qwen3.8-Flash-Next in the trellis quantization, on the CPU and the GPU.
- Mage-Flow (Microsoft): image generation and edits with a small 4B model (
--images mage-flow-turbo, 4 steps), for PCs with little RAM or VRAM; alsomage-flowandmage-flow-base. Qwen-Image-2.1 itself (qwen-image-base, 40 steps) can be chosen too, and-uncensoredtakes a text encoder with its refusal direction removed. - Images through the API (Qwen-Image): a mask redraws part of an image,
backgroundmakes it transparent, andoutput_formatgives jpeg or webp. - Windows on AMD GPUs: RDNA2 and later, in the same 7z.
Faster
Against xe0.1.45-1, measured the same way:
- A PC whose RAM cannot hold the model (low-RAM mode,
--mmap-experts): on Linux the experts the GPU does not hold are computed from the page cache without a copy, the next layers' experts are read ahead, and the checks are sized for the SSD; two GPUs with a layer split read ahead too. IQ3_XXS with 32 GB of RAM, decode at 1K: 11.6 → 26.0 tok/s on the RX 9060 XT (upstream 22.7), 46.9 → 56.5 on the B70, 13.3 → 34.8 on the RTX 4070; at 32K on the RX 9060 XT 11.2 → 17.4. - Image generation: Qwen-Image-2.1-Turbo, one 1024×1024 image of 8 steps: 7.7 → 4.0 s on the Arc Pro B70, 22.2 → 9.3 s on the RX 9060 XT. Mage-Flow-Turbo makes one in 0.8 s on the B70, 1.1 s on the RTX 4070 and 1.6 s on the RX 9060 XT.
- Decode where the CPU computes many experts: the VRAM expert cache now swaps in the experts the text turns to every 4 tokens instead of every 16 when the CPU takes a large share of the time (decided by itself, no setting). IQ3_XXS on the RTX 4070: 64K 56.3 → 64.7 tok/s, 262K 52.2 → 58.1; on the RX 9060 XT 262K 44.1 → 47.2.
- Long prompts on the RTX 4070: IQ3_XXS 32K prefill 1,167 → 1,956 tok/s, 262K 1,018 → 1,427 tok/s.
- Decode on the B70: IQ3_XXS +4-9% (1K: 80.5 → 87.4 tok/s, 262K: 75.7 → 80.6).
Fixed
- A B70 at 262K no longer fails when a speculative window's graph does not fit the VRAM: the window shrinks to one that fits.
- serve: a
max_tokensthat does not fit the context is shortened to the room left instead of answered with 400; an engine that cannot start answers 503 with its reason; a tool call one token off is read as a call. - Safety: serve no longer fetches a request's image from the server itself or its LAN, reads at most 32 MiB of an edit's file, and writes the run settings readable by you alone; setup checks llama.cpp's source and the MTP layer against pinned SHA-256s.
- Downloads: a file whose SHA-256 does not match is not deleted; only its differing pieces are fetched again. Your files under
--gguf-dirare never deleted. - Tuning (
--calibrate): it is usually not needed, as the engine and setup fit the settings to the PC themselves; it now asks before measuring, and setup no longer offers it after an install. It no longer measures or writes--spec-min-p, which the engine's own window sizing ignores.
Speed against upstream
XeStrata xe0.2.2-1 against upstream Strata v0.2.2, on the same PC and model (Qwen3.8-Flash-Next's IQ3_XXS and Gyro-M); the images against ComfyUI too. Linux; a Core i7-14700 with DDR4-3200, the RX 9060 XT on a Ryzen 7 5700X.
Note
- generate: temperature 0 (greedy), both engines following one text. Within ±1% counts as ≈ equal.
- serve and everyday use: temperature 0.7, each engine writing its own text, so a run can land about 10% off the median. Within ±1% for prefill and ±5% for the wait, decode and first token counts as ≈ equal. A conversation is compared over the turns both engines reached (the agent goes on only while the model calls a tool).
- image generation: the time of an image from a fixed prompt and seed: XeStrata and upstream as their own setups set them up on the GPU, ComfyUI the second image after its start. Within ±1% counts as ≈ equal.
- All are the median of two alternating runs.
Intel Arc Pro B70 (32 GB): upstream v0.2.2 is its sycl/ build
generate (temperature 0, tokens/s)
| Type and length | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | difference | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | difference |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 1,173 | 393 | ✅ ×3.0 | 87.4 | 58.9 | ✅ +48% |
| IQ3_XXS 4K | 1,639 | 917 | ✅ ×1.8 | 80.9 | 56.5 | ✅ +43% |
| IQ3_XXS 32K | 2,487 | 1,265 | ✅ ×2.0 | 91.9 | 58.4 | ✅ +57% |
| IQ3_XXS 64K | 2,513 | 1,392 | ✅ ×1.8 | 87.3 | 60.7 | ✅ +44% |
| IQ3_XXS 128K | 2,464 | 1,263 | ✅ ×2.0 | 72.9 | 60.0 | ✅ +22% |
| IQ3_XXS 262K | 2,337 | 1,061 | ✅ ×2.2 | 80.6 | 55.2 | ✅ +46% |
| Gyro-M 32K | 2,262 | 1,088 | ✅ ×2.1 | 90.8 | 75.0 | ✅ +21% |
| Gyro-M 1K | 754 | 570 | ✅ ×1.3 | 97.8 | 84.8 | ✅ +15% |
serve and everyday use (temperature 0.7)
| Measure | XeStrata xe0.2.2-1 | upstream v0.2.2 | difference |
|---|---|---|---|
| serve 32K first prefill (tok/s) | 2,469 | 1,273 | ✅ ×1.9 |
| serve 32K wait for a follow-up (ms) | 175 | 297 | ✅ −41% |
| serve 32K decode (tok/s) | 84.6 | 55.6 | ✅ +52% |
| chat-ja first token (s) | 0.44 | 0.63 | ✅ −30% |
| chat-ja decode (tok/s) | 67.9 | 42.2 | ✅ +61% |
| agent first token (s) | 0.78 | 1.06 | ✅ −26% |
| agent prefill (tok/s) | 566 | 387 | ✅ ×1.5 |
| agent decode (tok/s) | 91.6 | 65.8 | ✅ +39% |
image generation (1024×1024, seconds)
| Model | Engine | image | sampling | VAE | against XeStrata (image) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo (8 steps) | XeStrata xe0.2.2-1 (Q8_0) | 4.0 | 3.4 | 0.4 | |
| upstream v0.2.2 (Vulkan, Q8_0) | 51.1 | 46.0 | 3.1 | ✅ ×12.8 | |
| ComfyUI 7a28332 (int8) | 10.2 | 8.1 | - | ✅ ×2.5 | |
| Mage-Flow-Turbo (4 steps) | XeStrata xe0.2.2-1 (FP16) | 0.8 | 0.7 | 0.1 | |
| ComfyUI 7a28332 (int8) | 2.1 | 1.3 | - | ✅ ×2.6 | |
| ComfyUI 7a28332 (bf16) | 1.0 | 0.5 | - | ✅ ×1.2 | |
| upstream v0.2.2 | not in upstream |
NVIDIA GeForce RTX 4070 (12 GB): upstream v0.2.2 is its CUDA build
generate (temperature 0, tokens/s)
| Type and length | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | difference | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | difference |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 301 | 260 | ✅ ×1.2 | 61.3 | 46.8 | ✅ +31% |
| IQ3_XXS 4K | 544 | 526 | ✅ ×1.03 | 60.6 | 45.3 | ✅ +34% |
| IQ3_XXS 32K | 1,956 | 1,143 | ✅ ×1.7 | 64.1 | 51.3 | ✅ +25% |
| IQ3_XXS 64K | 1,865 | 1,070 | ✅ ×1.7 | 64.7 | 46.8 | ✅ +38% |
| IQ3_XXS 128K | 1,499 | 1,043 | ✅ ×1.4 | 60.6 | 43.4 | ✅ +40% |
| IQ3_XXS 262K | 1,427 | 996 | ✅ ×1.4 | 58.1 | 43.3 | ✅ +34% |
| Gyro-M 32K | 1,415 | 1,308 | ✅ ×1.08 | 53.0 | 46.1 | ✅ +15% |
| Gyro-M 1K | 387 | 345 | ✅ ×1.1 | 47.9 | 43.8 | ✅ +9% |
serve and everyday use (temperature 0.7)
| Measure | XeStrata xe0.2.2-1 | upstream v0.2.2 | difference |
|---|---|---|---|
| serve 32K first prefill (tok/s) | 1,943 | 1,136 | ✅ ×1.7 |
| serve 32K wait for a follow-up (ms) | 215 | 260 | ✅ −17% |
| serve 32K decode (tok/s) | 75.0 | 59.6 | ✅ +26% |
| chat-ja first token (s) | 0.68 | 0.92 | ✅ −26% |
| chat-ja decode (tok/s) | 67.5 | 58.7 | ✅ +15% |
| agent first token (s) | 3.48 | 3.66 | ✅ −5% |
| agent prefill (tok/s) | 321 | 301 | ✅ ×1.1 |
| agent decode (tok/s) | 66.8 | 53.7 | ✅ +24% |
image generation (1024×1024, seconds)
| Model | Engine | image | sampling | VAE | against XeStrata (image) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo (8 steps) | XeStrata xe0.2.2-1 (Q6_K) | 13.1 | 10.6 | 0.7 | |
| upstream v0.2.2 (CUDA, Q6_K) | 17.5 | 12.5 | 2.0 | ✅ ×1.3 | |
| ComfyUI 7a28332 (int8) | 19.6 | 15.4 | - | ✅ ×1.5 | |
| Mage-Flow-Turbo (4 steps) | XeStrata xe0.2.2-1 (FP16) | 1.1 | 0.9 | 0.1 | |
| ComfyUI 7a28332 (int8) | 3.6 | 2.1 | - | ✅ ×3.3 | |
| ComfyUI 7a28332 (bf16) | 3.6 | 0.7 | - | ✅ ×3.3 | |
| upstream v0.2.2 | not in upstream |
AMD Radeon RX 9060 XT (16 GB): upstream v0.2.2 is its HIP build
generate (temperature 0, tokens/s)
| Type and length | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | difference | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | difference |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 662 | 314 | ✅ ×2.1 | 53.7 | 48.7 | ✅ +10% |
| IQ3_XXS 4K | 1,026 | 383 | ✅ ×2.7 | 48.1 | 45.0 | ✅ +7% |
| IQ3_XXS 32K | 1,269 | 469 | ✅ ×2.7 | 55.9 | 47.2 | ✅ +18% |
| IQ3_XXS 64K | 1,283 | 463 | ✅ ×2.8 | 52.5 | 47.6 | ✅ +10% |
| IQ3_XXS 128K | 1,236 | 464 | ✅ ×2.7 | 45.8 | 43.9 | ✅ +4% |
| IQ3_XXS 262K | 1,155 | 455 | ✅ ×2.5 | 47.2 | 41.3 | ✅ +14% |
| Gyro-M 32K | 1,085 | 452 | ✅ ×2.4 | 49.3 | 47.1 | ✅ +5% |
| Gyro-M 1K | 428 | 335 | ✅ ×1.3 | 56.3 | 53.1 | ✅ +6% |
serve and everyday use (temperature 0.7)
| Measure | XeStrata xe0.2.2-1 | upstream v0.2.2 | difference |
|---|---|---|---|
| serve 32K first prefill (tok/s) | 1,180 | 467 | ✅ ×2.5 |
| serve 32K wait for a follow-up (ms) | 258 | 336 | ✅ −23% |
| serve 32K decode (tok/s) | 59.4 | 59.1 | ≈ equal (+1%) |
| chat-ja first token (s) | 0.71 | 0.9 | ✅ −21% |
| chat-ja decode (tok/s) | 46.6 | 46.0 | ≈ equal (+1%) |
| agent first token (s) | 1.45 | 2.22 | ✅ −35% |
| agent prefill (tok/s) | 297 | 187 | ✅ ×1.6 |
| agent decode (tok/s) | 46.5 | 47.5 | ≈ equal (−2%) |
image generation (1024×1024, seconds)
| Model | Engine | image | sampling | VAE | against XeStrata (image) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo (8 steps) | XeStrata xe0.2.2-1 (Q8_0) | 9.3 | 7.2 | 1.0 | |
| upstream v0.2.2 (HIP, Q8_0) | 61.2 | 51.4 | 5.7 | ✅ ×6.6 | |
| ComfyUI 7a28332 (int8, --reserve-vram 3) | 14.0 | 7.3 | - | ✅ ×1.5 | |
| Mage-Flow-Turbo (4 steps) | XeStrata xe0.2.2-1 (FP16) | 1.6 | 1.4 | 0.1 | |
| ComfyUI 7a28332 (int8) | 2.0 | 0.6 | - | ✅ ×1.2 | |
| ComfyUI 7a28332 (bf16) | 4.8 | 0.6 | - | ✅ ×3.0 | |
| upstream v0.2.2 | not in upstream |
日本語
Warning
Linux の Intel Arc B シリーズ・Lunar Lake・Panther Lake: Ubuntu 26.04 と Debian 13 が入れる Intel のグラフィックスのコンパイラー(IGC)2.27〜2.30 は、GPU のコードの一部を誤ってコンパイルします。XeStrata は該当する最適化を自動で切るので動きますが、短い prompt の decode が最大 10% 遅くなります。本来の速さで使うには、Podman で入れる(下の手順。中の IGC は直った版です)、Fedora 44 を使う、または Ubuntu 24.04/26.04 で HWE カーネルなら Intel の graphics PPA でドライバーを更新してください(xestrata --setup がコマンドを出します)。
すべての Intel GPU に、別の不具合: 26.22 より古い compute-runtime(Ubuntu 26.04 は 26.05 を入れます)は、カードの VRAM に空きがあっても GPU メモリの確保を断ることがあります。エンジンは起動に失敗し、カードは再起動しないと戻りません。この版から、エンジンは一括の確保を断られたときに expert cache を小分けで取り直し、確保できた分だけで起動します。抜け道は同じで、ドライバーを 26.22 以降に更新するか、Fedora 44 / Podman を使ってください。Ubuntu 24.04/26.04 で HWE カーネルなら、xestrata --setup は起動の前に止まって PPA のコマンドを出します(--old-driver でそのまま起動できます)。
Linux に入れる
1. Podman
ホストに入れるのは Podman と podman-compose だけ。XeStrata は Fedora 44 のコンテナの中に、このリリースの rpm から入る(rootless)。
git clone https://github.com/MistVVK/XeStrata && cd XeStrata/container
mkdir -p ~/.config/xestrata ~/.local/state/xestrata ~/.local/share/xestrata
export PODMAN_COMPOSE_PROVIDER=podman-compose
podman compose build # 最新のリリースと GPU のライブラリを入れたイメージを作る
podman compose run --rm xestrata --setup # 質問に答えてモデルを取ってくる
podman compose up -d # http://127.0.0.1:8095(止めるときは podman compose down)- podman-compose:
PODMAN_COMPOSE_PROVIDERで、podman composeに podman-compose を使わせる。Docker の compose プラグインも入った PC では、指定しないとそちらが選ばれ、Podman の API のソケットが動いていないと止まる。 - GPU: Intel はこのまま。AMD は
-f compose.yaml -f compose.amd.yaml、NVIDIA は-f compose.yaml -f compose.nvidia.yamlをpodman composeの後に付ける(export COMPOSE_FILE=compose.yaml:compose.nvidia.yamlでも同じ)。NVIDIA はホストに NVIDIA Container Toolkit の CDI の設定が要る。コンテナの中は cuda13.4 なので、Pascal と Volta(P100、P40、GTX 10 シリーズ、V100 など)は使えない。 - ホストに要るもの: GPU のドライバーと、自分が render グループに入っていること(
sudo usermod -aG render $USER)。
2. apt / dnf
- 下の表から GPU に合うパッケージを選び、
SHA256SUMSと一緒にダウンロードする。 - 確かめる:
sha256sum -c SHA256SUMS --ignore-missing - 入れる:
sudo apt install ./xestrata-contrib-cuda13.1_0.2.2-1_amd64.deb(Ubuntu)またはsudo dnf install ./xestrata-contrib-cuda13.4-0.2.2-1.x86_64.rpm(Fedora) - 端末で
xestrata --setupを実行する。GPU のライブラリや render グループが足りなければ、入れるコマンドを表示して止まるので、そのコマンドを実行してから、もう一度xestrata --setupを実行する。
Note
NVIDIA の GPU がなければ、どちらの CUDA の版でも同じように動きます。
| GPU | Ubuntu 26.04 | Fedora 44 |
|---|---|---|
| おすすめ: Intel、AMD(RDNA2 以降)、NVIDIA(Turing 以降) | xestrata-contrib-cuda13.1 |
xestrata-contrib-cuda13.4 |
| Intel、AMD(RDNA2 以降)、NVIDIA の Pascal と Volta(P100、P40、GTX 10 シリーズ、V100 など) | xestrata-contrib-cuda12.4 |
なし |
Windows に入れる
XeStrata-0.2.2-1-windows-x64.7zをSHA256SUMSと一緒にダウンロードし、好きなフォルダーに展開する。xestrata.exeを起動する。インストール(GPU とモデルの選択、ダウンロード)と起動を画面で案内します。コンソールではxestrata-cli.exe(Linux のxestrataと同じ使い方)。
- 必要なもの: .NET 10 のランタイム、Visual C++ 再頒布可能パッケージ、GPU のドライバー。
- GPU: Intel、NVIDIA(Pascal 以降)、それにこの版から AMD(RDNA2 以降。Adrenalin 26.5.1 以降のドライバー)。
- oneMKL: Intel の GPU では、Intel の oneMKL 2026.2 が入っていれば prompt の密な積に使います(7z には入っていません)。なければ XeStrata 自身のカーネルで動きます。
- 置き場所: 7z のフォルダーには何も書きません。設定は
%APPDATA%\xestrata、ログなどは%LOCALAPPDATA%\xestrata、モデルはデータのフォルダー(既定は%LOCALAPPDATA%\xestrata\data)です。
ほかに
- このリリースには自由ソフトウェアだけのパッケージ(
xestrata-free)はありません。docs/BUILD.ja.md のとおりソースから作れます。 - 版が変わったので、前の版の
--conversation-saveで保存した会話は読みません。 - このリリースは upstream の Strata v0.2.2 までを取り込んでいます。
新しくできること
- GLM-5.3-Flash(BETA): Z.ai の 320B の思考する MoE(1 トークン 18B)。RAM と VRAM を合わせてモデルが入る PC 向けです(UD-IQ1_S で約 101 GB)。MTP の層で下書きを作ります。
- Gyro-S と Gyro-M(agentionai): trellis の量子化の Qwen3.8-Flash-Next を、CPU と GPU で動かせます。
- Mage-Flow(Microsoft): 4B の小さなモデルでの画像の生成と編集(
--images mage-flow-turbo、4 ステップ)。RAM や VRAM の少ない PC 向けです。mage-flow・mage-flow-baseも選べます。Qwen-Image-2.1 本体(qwen-image-base、40 ステップ)も選べ、-uncensoredで拒否の方向を取り除いたテキストエンコーダーを使います。 - API での画像(Qwen-Image): mask で画像の一部を描き直し、
backgroundで透過にし、output_formatで jpeg・webp を返します。 - Windows で AMD の GPU: RDNA2 以降。同じ 7z で動きます。
速くなったこと
xe0.1.45-1 と同じ測り方で比べて:
- RAM にモデルが入らない PC(省 RAM モード、
--mmap-experts): Linux では、GPU が持たないエキスパートをページキャッシュから写さずに計算し、次の層のエキスパートを先に読み、確かめる窓を SSD に合わせて決めます。2 枚の GPU で層を分けても先読みします。IQ3_XXS・RAM 32 GB の 1K の decode は、RX 9060 XT で 11.6 → 26.0 tok/s(upstream 22.7)、B70 で 46.9 → 56.5、RTX 4070 で 13.3 → 34.8。RX 9060 XT の 32K は 11.2 → 17.4。 - 画像の生成: Qwen-Image-2.1-Turbo の 1024×1024・8 ステップの 1 枚は、Arc Pro B70 で 7.7 → 4.0 秒、RX 9060 XT で 22.2 → 9.3 秒。Mage-Flow-Turbo なら B70 で 0.8 秒、RTX 4070 で 1.1 秒、RX 9060 XT で 1.6 秒です。
- CPU がたくさんのエキスパートを計算する PC の decode: CPU の時間の割合が大きいときは、VRAM のエキスパートのキャッシュが、文が向かったエキスパートを 16 トークンごとではなく 4 トークンごとに入れ替えます(自動で決まり、設定は要りません)。IQ3_XXS で RTX 4070 は 64K 56.3 → 64.7 tok/s、262K 52.2 → 58.1、RX 9060 XT は 262K 44.1 → 47.2。
- RTX 4070 での長いプロンプト: IQ3_XXS の 32K の prefill 1,167 → 1,956 tok/s、262K 1,018 → 1,427 tok/s。
- B70 の decode: IQ3_XXS で +4〜9%(1K: 80.5 → 87.4 tok/s、262K: 75.7 → 80.6)。
直したこと
- B70 の 262K: 推測デコードの窓のグラフが VRAM に入らないときに落ちなくなりました。入る大きさに窓を縮めます。
- serve: 文脈に収まらない
max_tokensは 400 にせず、残りの余地まで縮めます。起動できないエンジンは理由つきの 503 を返します。1 トークンずれたツールの呼び出しも呼び出しとして読みます。 - 安全: serve は要求の画像をサーバー自身やその LAN のアドレスから取らず、編集のファイルは 32 MiB まで読み、実行の設定は本人だけが読めるように書きます。setup は llama.cpp のソースと MTP の層を、固定した SHA-256 で確かめます。
- ダウンロード: SHA-256 が合わないファイルを消さず、違う部分だけ取り直します。
--gguf-dirの自分のファイルは消しません。 - 調整(
--calibrate): エンジンと setup が PC に合わせるので、ふつうは要りません。測る前に聞くようにし、インストールの後に勧めるのもやめました。エンジンが窓の長さを自分で決めるので、使われない--spec-min-pを測ったり書いたりしなくなりました。
upstream との速さの比較
XeStrata xe0.2.2-1 と upstream Strata v0.2.2 を、同じ PC・同じモデル(Qwen3.8-Flash-Next の IQ3_XXS と Gyro-M)で比べました。画像は ComfyUI とも比べています。Linux、開発機は Core i7-14700・DDR4-3200、RX 9060 XT は Ryzen 7 5700X の PC です。
Note
- generate:温度 0(greedy)。両方のエンジンが同じ続きの文をなぞります。差が ±1% 以内なら ≒ 同等です。
- serve と通常使用:温度 0.7 で、それぞれのエンジンが自分の文を書くので、1 回ごとに中央値から 10% 前後ずれることがあります。差が prefill は ±1% 以内、待ち・decode・最初のトークンは ±5% 以内なら ≒ 同等です。会話は、両方のエンジンが届いたターンだけで比べます(agent はモデルがツールを呼ぶ間だけ次のターンへ進みます)。
- 画像の生成:決まったプロンプトと種で 1 枚ずつ作った時間です。XeStrata と upstream はそれぞれの setup がその GPU に選ぶ作り方で、ComfyUI は起動して 1 枚作った後の 2 枚目です。差が ±1% 以内なら ≒ 同等です。
- どれも、交互に 2 回ずつ測った中央値です。
Intel Arc Pro B70 (32 GB): upstream v0.2.2 は sycl/ 版
generate(温度 0、トークン/秒)
| 形式・長さ | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | 差 | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | 差 |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 1,173 | 393 | ✅ 3.0 倍 | 87.4 | 58.9 | ✅ +48% |
| IQ3_XXS 4K | 1,639 | 917 | ✅ 1.8 倍 | 80.9 | 56.5 | ✅ +43% |
| IQ3_XXS 32K | 2,487 | 1,265 | ✅ 2.0 倍 | 91.9 | 58.4 | ✅ +57% |
| IQ3_XXS 64K | 2,513 | 1,392 | ✅ 1.8 倍 | 87.3 | 60.7 | ✅ +44% |
| IQ3_XXS 128K | 2,464 | 1,263 | ✅ 2.0 倍 | 72.9 | 60.0 | ✅ +22% |
| IQ3_XXS 262K | 2,337 | 1,061 | ✅ 2.2 倍 | 80.6 | 55.2 | ✅ +46% |
| Gyro-M 32K | 2,262 | 1,088 | ✅ 2.1 倍 | 90.8 | 75.0 | ✅ +21% |
| Gyro-M 1K | 754 | 570 | ✅ 1.3 倍 | 97.8 | 84.8 | ✅ +15% |
serve と通常使用(温度 0.7)
| 計測 | XeStrata xe0.2.2-1 | upstream v0.2.2 | 差 |
|---|---|---|---|
| serve 32K 最初の prefill (tok/s) | 2,469 | 1,273 | ✅ 1.9 倍 |
| serve 32K 会話の続きの待ち (ms) | 175 | 297 | ✅ −41% |
| serve 32K decode (tok/s) | 84.6 | 55.6 | ✅ +52% |
| chat-ja 最初のトークン (s) | 0.44 | 0.63 | ✅ −30% |
| chat-ja decode (tok/s) | 67.9 | 42.2 | ✅ +61% |
| agent 最初のトークン (s) | 0.78 | 1.06 | ✅ −26% |
| agent prefill (tok/s) | 566 | 387 | ✅ 1.5 倍 |
| agent decode (tok/s) | 91.6 | 65.8 | ✅ +39% |
画像の生成(1024×1024、秒)
| モデル | エンジン | 1 枚 | サンプリング | VAE | XeStrata との差(1 枚) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo(8 ステップ) | XeStrata xe0.2.2-1(Q8_0) | 4.0 | 3.4 | 0.4 | |
| upstream v0.2.2(Vulkan、Q8_0) | 51.1 | 46.0 | 3.1 | ✅ 12.8 倍 | |
| ComfyUI 7a28332(int8) | 10.2 | 8.1 | - | ✅ 2.5 倍 | |
| Mage-Flow-Turbo(4 ステップ) | XeStrata xe0.2.2-1(FP16) | 0.8 | 0.7 | 0.1 | |
| ComfyUI 7a28332(int8) | 2.1 | 1.3 | - | ✅ 2.6 倍 | |
| ComfyUI 7a28332(bf16) | 1.0 | 0.5 | - | ✅ 1.2 倍 | |
| upstream v0.2.2 | upstream にない |
NVIDIA GeForce RTX 4070 (12 GB): upstream v0.2.2 は CUDA 版
generate(温度 0、トークン/秒)
| 形式・長さ | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | 差 | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | 差 |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 301 | 260 | ✅ 1.2 倍 | 61.3 | 46.8 | ✅ +31% |
| IQ3_XXS 4K | 544 | 526 | ✅ 1.03 倍 | 60.6 | 45.3 | ✅ +34% |
| IQ3_XXS 32K | 1,956 | 1,143 | ✅ 1.7 倍 | 64.1 | 51.3 | ✅ +25% |
| IQ3_XXS 64K | 1,865 | 1,070 | ✅ 1.7 倍 | 64.7 | 46.8 | ✅ +38% |
| IQ3_XXS 128K | 1,499 | 1,043 | ✅ 1.4 倍 | 60.6 | 43.4 | ✅ +40% |
| IQ3_XXS 262K | 1,427 | 996 | ✅ 1.4 倍 | 58.1 | 43.3 | ✅ +34% |
| Gyro-M 32K | 1,415 | 1,308 | ✅ 1.08 倍 | 53.0 | 46.1 | ✅ +15% |
| Gyro-M 1K | 387 | 345 | ✅ 1.1 倍 | 47.9 | 43.8 | ✅ +9% |
serve と通常使用(温度 0.7)
| 計測 | XeStrata xe0.2.2-1 | upstream v0.2.2 | 差 |
|---|---|---|---|
| serve 32K 最初の prefill (tok/s) | 1,943 | 1,136 | ✅ 1.7 倍 |
| serve 32K 会話の続きの待ち (ms) | 215 | 260 | ✅ −17% |
| serve 32K decode (tok/s) | 75.0 | 59.6 | ✅ +26% |
| chat-ja 最初のトークン (s) | 0.68 | 0.92 | ✅ −26% |
| chat-ja decode (tok/s) | 67.5 | 58.7 | ✅ +15% |
| agent 最初のトークン (s) | 3.48 | 3.66 | ✅ −5% |
| agent prefill (tok/s) | 321 | 301 | ✅ 1.1 倍 |
| agent decode (tok/s) | 66.8 | 53.7 | ✅ +24% |
画像の生成(1024×1024、秒)
| モデル | エンジン | 1 枚 | サンプリング | VAE | XeStrata との差(1 枚) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo(8 ステップ) | XeStrata xe0.2.2-1(Q6_K) | 13.1 | 10.6 | 0.7 | |
| upstream v0.2.2(CUDA、Q6_K) | 17.5 | 12.5 | 2.0 | ✅ 1.3 倍 | |
| ComfyUI 7a28332(int8) | 19.6 | 15.4 | - | ✅ 1.5 倍 | |
| Mage-Flow-Turbo(4 ステップ) | XeStrata xe0.2.2-1(FP16) | 1.1 | 0.9 | 0.1 | |
| ComfyUI 7a28332(int8) | 3.6 | 2.1 | - | ✅ 3.3 倍 | |
| ComfyUI 7a28332(bf16) | 3.6 | 0.7 | - | ✅ 3.3 倍 | |
| upstream v0.2.2 | upstream にない |
AMD Radeon RX 9060 XT (16 GB): upstream v0.2.2 は HIP 版
generate(温度 0、トークン/秒)
| 形式・長さ | prefill XeStrata xe0.2.2-1 | prefill upstream v0.2.2 | 差 | decode XeStrata xe0.2.2-1 | decode upstream v0.2.2 | 差 |
|---|---|---|---|---|---|---|
| IQ3_XXS 1K | 662 | 314 | ✅ 2.1 倍 | 53.7 | 48.7 | ✅ +10% |
| IQ3_XXS 4K | 1,026 | 383 | ✅ 2.7 倍 | 48.1 | 45.0 | ✅ +7% |
| IQ3_XXS 32K | 1,269 | 469 | ✅ 2.7 倍 | 55.9 | 47.2 | ✅ +18% |
| IQ3_XXS 64K | 1,283 | 463 | ✅ 2.8 倍 | 52.5 | 47.6 | ✅ +10% |
| IQ3_XXS 128K | 1,236 | 464 | ✅ 2.7 倍 | 45.8 | 43.9 | ✅ +4% |
| IQ3_XXS 262K | 1,155 | 455 | ✅ 2.5 倍 | 47.2 | 41.3 | ✅ +14% |
| Gyro-M 32K | 1,085 | 452 | ✅ 2.4 倍 | 49.3 | 47.1 | ✅ +5% |
| Gyro-M 1K | 428 | 335 | ✅ 1.3 倍 | 56.3 | 53.1 | ✅ +6% |
serve と通常使用(温度 0.7)
| 計測 | XeStrata xe0.2.2-1 | upstream v0.2.2 | 差 |
|---|---|---|---|
| serve 32K 最初の prefill (tok/s) | 1,180 | 467 | ✅ 2.5 倍 |
| serve 32K 会話の続きの待ち (ms) | 258 | 336 | ✅ −23% |
| serve 32K decode (tok/s) | 59.4 | 59.1 | ≒ 同等(+1%) |
| chat-ja 最初のトークン (s) | 0.71 | 0.9 | ✅ −21% |
| chat-ja decode (tok/s) | 46.6 | 46.0 | ≒ 同等(+1%) |
| agent 最初のトークン (s) | 1.45 | 2.22 | ✅ −35% |
| agent prefill (tok/s) | 297 | 187 | ✅ 1.6 倍 |
| agent decode (tok/s) | 46.5 | 47.5 | ≒ 同等(−2%) |
画像の生成(1024×1024、秒)
| モデル | エンジン | 1 枚 | サンプリング | VAE | XeStrata との差(1 枚) |
|---|---|---|---|---|---|
| Qwen-Image-2.1-Turbo(8 ステップ) | XeStrata xe0.2.2-1(Q8_0) | 9.3 | 7.2 | 1.0 | |
| upstream v0.2.2(HIP、Q8_0) | 61.2 | 51.4 | 5.7 | ✅ 6.6 倍 | |
| ComfyUI 7a28332(int8、--reserve-vram 3) | 14.0 | 7.3 | - | ✅ 1.5 倍 | |
| Mage-Flow-Turbo(4 ステップ) | XeStrata xe0.2.2-1(FP16) | 1.6 | 1.4 | 0.1 | |
| ComfyUI 7a28332(int8) | 2.0 | 0.6 | - | ✅ 1.2 倍 | |
| ComfyUI 7a28332(bf16) | 4.8 | 0.6 | - | ✅ 3.0 倍 | |
| upstream v0.2.2 | upstream にない |