Repository navigation
KrugleAI Shasta Deployment Guide
バージョン: v0.8.1-beta
KrugleAI Shastaは、高速かつ高パフォーマンスを実現する次世代のLLM推論サービスです。CPUとGPUリソースを自動的にバランスさせ、KrugleAI Code LLMsとのシームレスな体験を提供します。
35Bモデルの最小ハードウェア仕様
- GPU: Apple Silicon M2 Pro以上
- RAM: 64 GB
- HDD/SSD: 40 GB以上の空き容量
その他のモデルの最小ハードウェア仕様
- GPU: Apple Silicon M1以上
- RAM: 16 GB
- HDD/SSD: 10 GB以上の空き容量
プラットフォーム: darwin-arm64
Shastaをダウンロードし、パッケージをMacの任意の場所に解凍します(例: ~/Documents/shasta-darwin)。
/shasta-darwin/shasta.confを編集します。
-
hf_から始まるアクセストークンを最新の内容に変更 ← お手数ですがKrugleの担当エンジニアにご確認ください -
YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更 - KAS認証が有効な環境では、
YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD
cd ~/Documents/shasta-darwin
./shasta initモデルを選択するように求められます。関数呼び出しとMCPツールのサポートを備えた最新モデルであるKrugleAI Code 15Bを選択することをお勧めします。
Please choose an LLM to install:
A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB
Enter your choice:
このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。
./start.shcd ~/Documents/shasta-darwin
./stop.sh
rm -rf ~/Documents/shasta-darwin
rm -rf ~/.shasta古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。
ログはここにあります: $SHASTA_HOME/shasta.log。
cd ~/Documents/shasta-darwin
./stop.sh35Bモデルの最小ハードウェア要件
- CPU: 12コア
- RAM: 64 GB
- HDD/SSD: 空き容量40 GB以上
- GPU(オプション): CUDA v11+をサポートするNVIDIA GPUで、VRAMが48 GB以上。AMD GPUの場合は追加のドライバーのダウンロードとインストールが必要です。
その他のモデルの最小ハードウェア要件
- CPU: 8コア
- RAM: 16 GB
- HDD/SSD: 空き容量10 GB以上
- GPU(オプション): CUDA v11+をサポートするNVIDIA GPUで、VRAMが8 GB以上
プラットフォーム: win-amd64 (x86-64)
Windows 11 24H2以降では、WMICがインストールされていることを確認してください。
- スタート > すべてのアプリ > 設定に移動するか、Windowsキー + Iを押して設定を開きます。
- システム > オプション機能をクリックします。
- オプション機能の追加の隣にある機能の表示を選択します。
- 下にスクロールし、WMICにチェックを入れます。
- 次へ > 追加をクリックして、インストールを完了します。
Shastaをダウンロードし、アーカイブの名前をshasta-win.zipに変更して任意のフォルダで解凍します。(例: c:\shasta-win)。
\shasta-win\shasta.confを編集します。
-
hf_から始まるアクセストークンを最新の内容に変更 ← お手数ですがKrugleの担当エンジニアにご確認ください -
YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更 - KAS認証が有効な環境では、
YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD
cd c:\shasta-win\
.\shasta.exe initモデルを選択するように求められます。関数呼び出しとMCPツールのサポートを備えた最新モデルであるKrugleAI Code 15Bを選択することをお勧めします。
Please choose an LLM to install:
A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB
Enter your choice:
このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。
✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。
.\start.batcd c:\shasta-win\
.\stop.bat
del c:\shasta-win\
del c:\Users\${USER}\.shasta古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。
ログはここにあります: %SHASTA_HOME%\shasta.log。
cd c:\shasta-win\
.\stop.bat35Bモデルの最小ハードウェア要件
- CPU: 12コア
- RAM: 64 GB
- HDD/SSD: 空き容量40 GB以上
- GPU(オプション): CUDA v11+をサポートするNVIDIA GPUで、VRAMが48 GB以上。AMD GPUの場合は追加のドライバーのダウンロードとインストールが必要です。
その他のモデルの最小ハードウェア要件
- CPU: 8コア
- RAM: 16 GB
- HDD/SSD: 空き容量10 GB以上
- GPU(オプション): CUDA v11+をサポートするNVIDIA GPUで、VRAMが8 GB以上; AMD GPUは追加のドライバのダウンロードとインストールが必要です。
プラットフォーム: linux-amd64
Shastaをダウンロードし、パッケージを任意の場所に解凍します(例: /opt/shasta-linux)。
/shasta-linux/shasta.confを編集します。
-
hf_から始まるアクセストークンを最新の内容に変更 ← お手数ですがKrugleの担当エンジニアにご確認ください -
YOUR_KE_HOSTをKrugle Enterpriseサーバーのホスト名に変更 - KAS認証が有効な環境では、
YOUR_KE_USERNAMEとYOUR_KE_PASSWORDも変更
hf_xxxxxxxxxxxxxxxxxxxxxxxxx
YOUR_KE_API_URL
YOUR_KE_USERNAME
YOUR_KE_PASSWORD
注意: インストールスクリプトはsudo権限が必要です。ルートユーザーとして実行する必要があります。
cd /opt/shasta-linux
sudo bash ./install.sh「Krugle Enterpriseサーバーホスト」を入力するように求められます。Krugle EnterpriseサーバーのIPアドレスまたはドメイン名を提供してください。
Krugle Enterpriseサーバーホストを入力してください:
モデルの選択を求められます。最新のモデル KrugleAI Code 10B を選択することをお勧めします。このモデルはパフォーマンスが向上しており、コード移行などの専門的なタスクに調整されています。
Please choose an LLM to install:
A) [KrugleAI Code 7B & KrugleAI Code Base 1.5B] - SIZE: 5.8 GB RAM/VRAM: 15+ GB
B) ✨🥇 [KrugleAI Code 10B] - SIZE: 8.7 GB RAM/VRAM: 15+ GB
C) [ALL] SIZE: 14.5 GB RAM/VRAM: 15+ GB
Enter your choice:
このステップでは、KrugleAIモデルを取得して読み込むのに時間がかかる場合があります。✅ KrugleAI models have been initializedというメッセージが表示されたら、初期化が完了したことを意味します。
sudo systemctl start shastacd /opt/shasta-linux
sudo bash ./uninstall.sh
sudo rm -rf /opt/shasta-linux
sudo rm -rf ~/.shasta古いバージョンのShastaをアンインストールし、新しいバージョンをインストールしてください。
ログはここにあります: /var/log/shasta/shasta.log
sudo systemctl stop shastaダウンロード可能なモデル:
- KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M
- KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M
- KrugleAI-text-embedding-V1.0-GGUF.Q8_0
-
Shastaインストーラーディレクトリに移動します。例:
-
Linux:
/root/shasta-linux -
macOS:
~/Documents/shasta-darwin -
Windows:
C:\shasta-win\
-
Linux:
-
まだインストールしていない場合は、Git LFSをインストールします:
[ubuntu] apt-get install git-lfs
[mac] brew install git-lfs
[win] winget install -e --id GitHub.GitLFS
- LLM重みファイル(例:KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M)をダウンロードします。
認証情報を求められたら、以下を使用してください:
- ユーザー名: krugleclient
- パスワード: [Kruglet担当エンジニアにお問い合わせください]
# $SHASTA_INSTALLER_HOME は、shasta コマンドが存在するディレクトリです
cd $SHASTA_INSTALLER_HOME
mkdir .models
cd .models以下のコマンド形式でモデルをクローンしてください:git clone $HF_MODEL_URL $krugle_MODEL_FULL_NAME
例: [KrugleAI Code 15B + KrugleAI Text Embedding]
警告: ダウンロードファイル名にある
krugle_プレフィックスに注意してください:
krugle_KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M
git clone https://huggingface.co/krugle/KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M krugle_KrugleAI-Code-35B-Chat-V1.0-GGUF.Q5_K_M
git clone https://huggingface.co/krugle/KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M krugle_KrugleAI-Code-15B-Chat-V2.0-GGUF.Q5_K_M
git clone https://huggingface.co/krugle/KrugleAI-text-embedding-V1.0-GGUF.Q8_0 krugle_KrugleAI-text-embedding-V1.0-GGUF.Q8_0- モデルをロードする
以下のコマンドを実行します:
# Linuxの場合
shasta init
# macOSの場合
./shasta init
# Windowsの場合
.\shasta.exe init以下のメッセージが表示されたら:
Enter Y for offline installation, or any other key for online installation
Yと入力してください。
Please choose an LLM to install:
A) ✨🥇 [KrugleAI Code 15B + KrugleAI Text Embedding] - SIZE: 10.15 GB RAM/VRAM: 15+ GB
B) [KrugleAI Code 10B + KrugleAI Text Embedding] - SIZE: 8.85 GB RAM/VRAM: 15+ GB
C) [KrugleAI Code 35B + KrugleAI Text Embedding] - SIZE: 23.15 GB RAM/VRAM: 48+ GB
インストールするモデルを選択してください。A/B/C
- インストール完了後、
shasta lsコマンドにて意図したモデルがインストールされていることを確認
*インストールが成功した場合、手順中で作成した.modelsフォルダは自動的に削除されます
ライセンス
Krugle AIOサーバ デプロイメントガイド
ユーザ認証サービス KAS(Krugle Authentication Service) 設定ガイド
Shasta デプロイメントガイド
KLiP デプロイメントガイド
KLiP ユーザガイド
Krugle Search リファクタリング演習 ハンズオン教材