Skip to content

XeStrata xe0.1.40.2.1

Choose a tag to compare

View all tags
@MistVVK MistVVK released this 10 Oct 05:51
· 837 commits to main since this release
xe0.1.40.2.1
94287ef

Warning

This is an old release. Get the latest from the latest release.
古いリリースです。最新版は最新のリリースから入れてください。

日本語 | English

日本語

入れ方

  1. GPU に合うパッケージを下の表から選んで取ってきます（SHA256SUMS も一緒に）。
  2. sha256sum -c SHA256SUMS --ignore-missing で確かめます。
  3. 入れます: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-2_amd64.deb（Ubuntu）か sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-2.x86_64.rpm（Fedora）。
  4. 端末で xestrata --setup を実行します。足りない GPU のライブラリと render グループは、入れるコマンドを表示して止まるので、それを実行してからもう一度 xestrata --setup を実行します。
GPU Ubuntu 26.04 Fedora 44
おすすめ: Intel、AMD（RDNA2 以降）、NVIDIA（Turing 以降）、そのいくつか xestrata-contrib-cuda13.1 xestrata-contrib-cuda13.4
NVIDIA の Pascal と Volta（P100、P40、GTX 10 シリーズ、V100 など）、それと Intel や AMD xestrata-contrib-cuda12.4 なし
  • 自由ソフトウェアだけで動かす版（xestrata-free）は付けていません。docs/BUILD.ja.md の手順でソースから作れます。

新しく動く GPU（xe0.1.39 から）

  • AMD の GPU（RDNA2 以降）: Intel・NVIDIA と同じパッケージ、同じカーネルで動きます。RX 9060 XT で、upstream の HIP 版よりプロンプトの読み込みが約 2 倍（4K で 749 対 400 トークン/秒）、デコードは同程度でした。
  • NVIDIA の Pascal（GTX 10 シリーズ、P100、P40）: xestrata-contrib-cuda12.4 で動きます。
  • AMD の APU: setup が統合メモリを数え、Ryzen AI Max（Strix Halo）では UD-IQ4_XS を勧めます（APU の実機では確かめていません）。

デコードが速くなったところ

  • VRAM に収まらないエキスパート: CPU で計算する数と PCIe 越しに読む数を、起動時に測った時間で決めます（Project Maya の考え方）。RTX 4070 の 32K で、IQ3_XXS が 50.0 → 57.0〜58.6、UD-Q4_K_XL が 22.0 → 25.7 トークン/秒です。B70 と RX 9060 XT は変わりません。
  • PCIe 越しの読み込み: VRAM にあるエキスパートの計算と重ね、リンクを使い切れる最少のワークグループで読みます。RTX 4070 で 1 ラウンド 69.8 → 66.4 ms。
  • 常駐モード（--resident-experts）: エキスパートの入れ替えを窓の間に裏で進めます。RTX 4070 で 14〜15% 速くなりました。
  • 会話のデコード（IQ2_XS、6 つの会話）: RTX 4070 62.3 → 64.4、B70 68.4 → 69.7 トークン/秒。

プロンプトが速くなったところ

  • B70: 4K のプロンプトが 1250 → 1849 トークン/秒（IQ2_XS）。
  • 最初のトークンまで（21 トークンの会話）: RTX 4070 1853 → 894 ms、B70 1069 → 290 ms。
  • RTX 4070 の長いプロンプト: 64K で IQ3_XXS 1032 → 1067、IQ2_XS 1233 → 1284 トークン/秒。32K の UD-Q4_K_XL は RAM の予算か常駐モードのとき 524 → 611 トークン/秒。
  • 短いプロンプト: VRAM にないエキスパートの一部を CPU で計算します。262 トークンで、B70 319 → 383、RTX 4070 110 → 266 トークン/秒。

新しい機能

  • 会話をファイルに保存して戻す（セッションファイル）、チェックポイントを取らない要求（ckpt=0）、共有の先頭の固定（pin=N）。
  • --batch と --mtp を一緒に使うと、各スロットが MTP の下書きを確かめます。
  • PLE の表を GGUF の形式のまま読み、ネイティブのエキスパートの Q4_0・Q4_1・Q5_0・Q6_K を GPU で計算します。
  • setup: --inspect（GGUF の量子化を見る）、--source modelscope、200K の文脈。

upstream との速さの比較

XeStrata xe0.1.40.2.1 と upstream の Strata v0.1.41 を、同じ PC・同じモデル（Qwen3.8-Flash-Next IQ3_XXS）で比べました。プロンプトはコードエージェントの入力で、256 トークンを出力させ、交互に 2 回ずつ測った中央値です。単位はトークン/秒です。±1% 以内は同等（≒）としています。

Intel Arc Pro B70 (32 GB): upstream v0.1.41 は SYCL 版（sycl/、B70 向けの AOT）

形式・長さ プロンプト XeStrata xe0.1.40.2.1 プロンプト upstream v0.1.41 差 出力 XeStrata xe0.1.40.2.1 出力 upstream v0.1.41 差
IQ3_XXS 1K 844 547 ✅ 1.54 倍 82.8 34.4 ✅ +141%
IQ3_XXS 4K 1,501 732 ✅ 2.0 倍 82.4 40.6 ✅ +103%
IQ3_XXS 32K 2,310 735 ✅ 3.1 倍 79.5 28.7 ✅ +177%
IQ3_XXS 64K 1,967 1,129 ✅ 1.74 倍 74.3 36.4 ✅ +104%
IQ3_XXS 128K 1,975 1,018 ✅ 1.94 倍 75.8 30.3 ✅ +150%
IQ3_XXS 262K 1,903 884 ✅ 2.2 倍 72.1 34.3 ✅ +111%

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.1.41 は CUDA 版

形式・長さ プロンプト XeStrata xe0.1.40.2.1 プロンプト upstream v0.1.41 差 出力 XeStrata xe0.1.40.2.1 出力 upstream v0.1.41 差
IQ3_XXS 1K 297 258 ✅ 1.15 倍 53.9 46.7 ✅ +15%
IQ3_XXS 4K 533 526 ✅ 1.01 倍 58.0 46.4 ✅ +25%
IQ3_XXS 32K 1,142 1,143 ≒ 同等（−0.1%） 58.5 50.9 ✅ +15%
IQ3_XXS 64K 1,068 1,070 ≒ 同等（−0.2%） 53.4 49.5 ✅ +8%
IQ3_XXS 128K 1,042 1,043 ≒ 同等（±0.0%） 47.1 41.2 ✅ +14%
IQ3_XXS 262K 997 997 ≒ 同等（±0.0%） 50.1 43.7 ✅ +14%

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.41 は HIP 版

形式・長さ プロンプト XeStrata xe0.1.40.2.1 プロンプト upstream v0.1.41 差 出力 XeStrata xe0.1.40.2.1 出力 upstream v0.1.41 差
IQ3_XXS 1K 509 295 ✅ 1.73 倍 48.8 46.8 ✅ +4%
IQ3_XXS 4K 768 372 ✅ 2.1 倍 48.9 42.8 ✅ +14%
IQ3_XXS 32K 847 382 ✅ 2.2 倍 50.3 45.7 ✅ +10%
IQ3_XXS 64K 829 370 ✅ 2.2 倍 46.2 38.2 ✅ +21%
IQ3_XXS 128K 830 356 ✅ 2.3 倍 50.5 43.3 ✅ +17%
IQ3_XXS 262K 803 337 ✅ 2.4 倍 44.1 38.3 ✅ +15%

前の版からの注意

  • 版が変わったので、xe0.1.39 で保存した会話（--conversation-save）は読まれません。
  • パッケージの版は「取り込んだ upstream の版-その版でのリリースの回数」になりました（今回は 0.1.40.2-2）。xe0.1.39 のパッケージからは、そのまま更新できます。

English

Installing

  1. Download the package for your GPU from the table below (and SHA256SUMS).
  2. Check it: sha256sum -c SHA256SUMS --ignore-missing.
  3. Install it: sudo apt install ./xestrata-contrib-cuda13.1_0.1.40.2-2_amd64.deb (Ubuntu) or sudo dnf install ./xestrata-contrib-cuda13.4-0.1.40.2-2.x86_64.rpm (Fedora).
  4. Run xestrata --setup in a terminal. When the GPU's libraries or the render group are missing, it stops with the command to run; run it, then xestrata --setup again.
GPU Ubuntu 26.04 Fedora 44
Recommended: Intel, AMD (RDNA2 and later), NVIDIA (Turing and later), or several of them xestrata-contrib-cuda13.1 xestrata-contrib-cuda13.4
NVIDIA Pascal and Volta (P100, P40, GTX 10 series, V100 and the like), with Intel or AMD xestrata-contrib-cuda12.4 none
  • No free-software-only package (xestrata-free) is attached; build it from the source as docs/BUILD.md describes.

GPUs that now run (since xe0.1.39)

  • AMD GPUs (RDNA2 and later): the same packages and kernels as Intel and NVIDIA. On an RX 9060 XT the prompt reads about twice as fast as upstream's HIP build (749 against 400 tokens/s at 4K) and the decode is about the same.
  • NVIDIA Pascal (GTX 10 series, P100, P40): runs with xestrata-contrib-cuda12.4.
  • AMD APUs: setup counts the unified memory and recommends UD-IQ4_XS on a Ryzen AI Max (Strix Halo) (not checked on an APU).

Faster decode

  • Experts that do not fit in VRAM: how many the CPU computes and how many are read over PCIe is chosen from times measured at start (after Project Maya). On an RTX 4070 at 32K, IQ3_XXS went from 50.0 to 57.0-58.6 and UD-Q4_K_XL from 22.0 to 25.7 tokens/s. The B70 and the RX 9060 XT are unchanged.
  • Reads over PCIe: overlapped with the experts in VRAM, with the fewest work-groups that fill the link. On an RTX 4070 a round went from 69.8 to 66.4 ms.
  • Resident mode (--resident-experts): the experts' swaps move between windows in the background. The RTX 4070 decoded 14-15% faster.
  • Conversation decode (IQ2_XS, six conversations): RTX 4070 62.3 to 64.4, B70 68.4 to 69.7 tokens/s.

Faster prompts

  • B70: a 4K prompt went from 1250 to 1849 tokens/s (IQ2_XS).
  • Time to the first token (a 21-token conversation): RTX 4070 1853 to 894 ms, B70 1069 to 290 ms.
  • Long prompts on an RTX 4070: at 64K, IQ3_XXS 1032 to 1067 and IQ2_XS 1233 to 1284 tokens/s; UD-Q4_K_XL at 32K with a RAM budget or the resident mode 524 to 611 tokens/s.
  • Short prompts: part of the experts not in VRAM are computed on the CPU. At 262 tokens, the B70 went from 319 to 383 and the RTX 4070 from 110 to 266 tokens/s.

New features

  • Conversations saved to a file and restored (session files), requests that take no checkpoint (ckpt=0), a shared beginning kept (pin=N).
  • --batch with --mtp: each slot verifies an MTP draft.
  • The PLE table is read in the format the GGUF has it, and native Q4_0, Q4_1, Q5_0 and Q6_K experts run on the GPU.
  • Setup: --inspect (a GGUF's quantization), --source modelscope, a 200K context.

Speed against upstream

XeStrata xe0.1.40.2.1 against upstream Strata v0.1.41 on the same PC and model (Qwen3.8-Flash-Next IQ3_XXS): a coding agent's prompts, 256 output tokens, the median of two alternating runs, in tokens/s. Within ±1% counts as equal (≈).

Intel Arc Pro B70 (32 GB): upstream v0.1.41 as its sycl/ port (AOT for the B70)

Type and length Prompt XeStrata xe0.1.40.2.1 Prompt upstream v0.1.41 Difference Output XeStrata xe0.1.40.2.1 Output upstream v0.1.41 Difference
IQ3_XXS 1K 844 547 ✅ ×1.54 82.8 34.4 ✅ +141%
IQ3_XXS 4K 1,501 732 ✅ ×2.0 82.4 40.6 ✅ +103%
IQ3_XXS 32K 2,310 735 ✅ ×3.1 79.5 28.7 ✅ +177%
IQ3_XXS 64K 1,967 1,129 ✅ ×1.74 74.3 36.4 ✅ +104%
IQ3_XXS 128K 1,975 1,018 ✅ ×1.94 75.8 30.3 ✅ +150%
IQ3_XXS 262K 1,903 884 ✅ ×2.2 72.1 34.3 ✅ +111%

NVIDIA GeForce RTX 4070 (12 GB): upstream v0.1.41 as its CUDA build

Type and length Prompt XeStrata xe0.1.40.2.1 Prompt upstream v0.1.41 Difference Output XeStrata xe0.1.40.2.1 Output upstream v0.1.41 Difference
IQ3_XXS 1K 297 258 ✅ ×1.15 53.9 46.7 ✅ +15%
IQ3_XXS 4K 533 526 ✅ ×1.01 58.0 46.4 ✅ +25%
IQ3_XXS 32K 1,142 1,143 ≈ equal (−0.1%) 58.5 50.9 ✅ +15%
IQ3_XXS 64K 1,068 1,070 ≈ equal (−0.2%) 53.4 49.5 ✅ +8%
IQ3_XXS 128K 1,042 1,043 ≈ equal (±0.0%) 47.1 41.2 ✅ +14%
IQ3_XXS 262K 997 997 ≈ equal (±0.0%) 50.1 43.7 ✅ +14%

AMD Radeon RX 9060 XT (16 GB): upstream v0.1.41 as its HIP build

Type and length Prompt XeStrata xe0.1.40.2.1 Prompt upstream v0.1.41 Difference Output XeStrata xe0.1.40.2.1 Output upstream v0.1.41 Difference
IQ3_XXS 1K 509 295 ✅ ×1.73 48.8 46.8 ✅ +4%
IQ3_XXS 4K 768 372 ✅ ×2.1 48.9 42.8 ✅ +14%
IQ3_XXS 32K 847 382 ✅ ×2.2 50.3 45.7 ✅ +10%
IQ3_XXS 64K 829 370 ✅ ×2.2 46.2 38.2 ✅ +21%
IQ3_XXS 128K 830 356 ✅ ×2.3 50.5 43.3 ✅ +17%
IQ3_XXS 262K 803 337 ✅ ×2.4 44.1 38.3 ✅ +15%

Coming from the previous release

  • The version changed: conversations saved by xe0.1.39 (--conversation-save) are not read.
  • A package's version is now the upstream version integrated and the count of releases on it (0.1.40.2-2 this time). A package of xe0.1.39 upgrades to it directly.
Assets 6
Loading