Skip to content

Abyss v1.3.80 — Abyss Terminal（ターミナルでサーバーを見る・動かす）/ Abyss Terminal

Choose a tag to compare

View all tags
@zephel01 zephel01 released this 30 Oct 11:40
· 94 commits to main since this release
v1.3.80
c929311

Abyss Terminal: ./abyss.sh --terminal

ターミナルの中で、サーバーの速さと中身をライブで見て、起動・停止・モデルの切り替えができる画面です。閉じてもモデルは動き続けます。

  • 2 つのレイアウト: Speed（大きな数字で速さ）と Devices（GPU / SSD / CPU を全部）。l で切り替え、--layout で指定、最後の選択を覚えます。GPU 3 枚以上は Devices が既定。
  • 複数 GPU・複数 SSD: GPU は 10 枚まで、SSD は何枚でも（SSD 2 枚のミラーの振り分けも表示）。
  • 1 トークンの時間の内訳をライブで（エンジンの STAT から、直近約 64 トークン）: SSD 待ち、レーン、ミラーの分担、ドラフターの受理率と tokens/step、レーンの推定帯域 GB/s、ssd/cpu/pcie/gpu の判定。
  • 起動中の進み具合: エンジンより先にポートを開き、/health が読み込みの段階と % / GB を返す。
  • 別の PC から: --url http://<host>:8082 --key-env <API キーの環境変数>（Tailscale など）。ログも GET /api/log（認証付き）で見られる。停止は認証付き POST /api/shutdown。
  • デモ: ./abyss.sh --terminal --demo r9700（lowspec / split / multi4 / multi8 / multi10 / loading / starting / down）。サーバー無しで画面を確かめられる。
  • ./abyss.sh --help に全コマンドを載せた。
  • エンジン: STAT / INFO / PP / DONE に項目を追加（表示用の printf のみ）。

未確認: エンジンの新しい項目と早いポートの開放は、HIP コンパイラの構文チェックとホスト側のテスト（serve 204、tools 263、Terminal 51）まで。実エンジン（R9700 / RTX 5090）での確認はこれから。読み込み中の /health は v1.3.81 で 503 に変更。

Abyss Terminal: ./abyss.sh --terminal

Watch the server's speed and insides live from a terminal, and start / stop / switch models; closing it keeps the model serving.

  • Two layouts: Speed (big numbers) and Devices (every GPU / SSD / CPU); l switches, --layout picks, the last choice is remembered; Devices by default with 3+ GPUs.
  • Many GPUs and SSDs: up to 10 GPUs, any number of SSDs (with a two-SSD mirror's split).
  • Where a token's time goes, live (the engine's STAT, last ~64 tokens): SSD wait, the lane, the mirror split, the drafter's acceptance and tokens/step, the lane's estimated GB/s, and the ssd/cpu/pcie/gpu verdict.
  • Loading progress: the port is bound before the engine loads and /health says the stage and % / GB.
  • Another PC: --url http://<host>:8082 --key-env <API key variable> (e.g. over Tailscale); logs through GET /api/log (authenticated); stop with an authenticated POST /api/shutdown.
  • Demos: ./abyss.sh --terminal --demo r9700 (lowspec / split / multi4 / multi8 / multi10 / loading / starting / down), no server needed.
  • ./abyss.sh --help lists every command.
  • Engine: new STAT / INFO / PP / DONE fields (printf only).

Not yet checked: the engine's new fields and the early bind pass the HIP compiler's syntax check and the host tests (serve 204, tools 263, Terminal 51); the live check on an engine (R9700 / RTX 5090) follows. /health while loading answers 503 from v1.3.81.

Assets 2
Loading