Skip to content

Releases: Argos1111/jev_local

Release list

Sarashina llama.cpp b11042 pre1 (CPU / HIP / CUDA)

Sarashina llama.cpp b11042 pre1 (CPU / HIP / CUDA) Pre-release
Pre-release

Choose a tag to compare

View all tags
@Argos1111 Argos1111 released this 21 Sep 22:05
sarashina-llama-b11042-pre1
5edbee0

Sarashina対応 llama.cpp b11042（実験版）

公式由来mmprojの画像前処理・最終LayerNorm・画像境界を修正し、画像encoder cacheとCUDA/HIP FA160を追加したJev Local独自ビルドです。llama.cpp上流の公式リリースではありません。

ダウンロード

Linux x86_64 / WSL2向け。Ubuntu 24.04環境でビルド。CPUはAVX2・FMA・F16C、GLIBC 2.38 / GLIBCXX 3.4.32以上が必要です。

末尾 対象・外部依存
cpu.tar.gz CPU
hip-gfx1100-gfx1201.tar.gz R9700 / RX 7900 XTX等。ROCm SDK 10.0系のHIP 7・hipBLAS 3・rocBLAS 5と依存ライブラリ・Tensileデータが別途必要
cuda13-sm89.tar.gz RTX 4090等のsm_89。CUDA Runtime 13・cuBLAS 13・CUDA 13.2対応ドライバーが別途必要。NVIDIA実機未検証

モデル・GPU/OS共有ライブラリ・GPUドライバーは含みません。言語GGUFとmmproj-jev-official-f16.gguf・同名.gguf.jsonを別途用意してください。公式由来mmprojのHF配布先はPublic公開済みで、認証なしで取得できます。checkpointの取得・mmprojの変換は不要です。

展開後、Jev Localのルートから:

python3 scripts/run_sarashina.py --backend cpu --build /path/to/extracted-runtime

GPU版はbackendをhip / cudaへ変更します。共有ライブラリが標準パス以外ならLD_LIBRARY_PATH等の設定が必要です。通常のモデル/ランタイム選択は変わりません。

確認範囲

  • Python単体テスト91件: Ubuntu / macOS × Python 3.12 / 3.14。Ubuntuのnative cache単体テストも通過（macOS版ランタイムの配布・検証を意味しません）。
  • 移動先・元ビルド非参照のUbuntu 24.04環境でCPU / HIPの画像推論とcache hitを確認。
  • 公式前処理15/15、encoder照合CPU / HIP各5/5。
  • HIP FA160: R9700 / RX 7900 XTXで各252/252（F16 KV）。
  • CUDAはビルド・CPU側起動まで。GPU演算0/0は合格と数えず、速度・推論を未検証としています。

画像理解全般や全GPU動作を保証しません。単色・複数画像・候補順・既存言語GGUFのtokenizer差は未解決です。未検証GPUや検査失敗を理由に起動を禁止しません。Web UI・OpenSSLは無効。まずlocalhostで使用してください。

アーカイブ内にLICENSE / NOTICE、ビルドmanifest、検査記録、パッチ・再ビルド入力、SHA256SUMSを同梱しています。SHA256SUMSで確認してから使用してください。

利用・再ビルド手順（HF公開後の案内）

HF公開に伴い、この案内だけを更新しました。配布アーカイブ・タグ・検査記録は変更せず、ランタイムのソースcommitは5edbee00dcdd01690cbbd9cd1dd4d8f300862cd0のままです。

Loading