インストールと更新

動作環境

• 最近の NVIDIA ビデオカードを積んだ Windows PC で動作します。
  • 動作確認はできていませんが、Linux 版もあります。
• 動作確認環境: Windows 11, Intel Core i7-12700, RAM 64GB, Geforce 3060 12GB
  • RAM 16GB, VRAM 4GB 程度でも、7B-IQ4_XS などの小さなモデルなら動作します。

古い PC で 3.5 tokens/sec (T/s) です。
Ryzen 5 3600X , RAM 16GB, Geforce GTX 1660 Ti (VRAM 3.3GB / 6.0GB)

Geforce RTX 3060 12GB なら 13.5 T/s です。

インストールと更新

インストール手順は README を参照してください。

Linux 版

Linux 版（moc67331 さん作） の Install-EasyNovelAssistant.sh も同様に、インストール先フォルダで実行してインストールします。
動作確認はしておりませんので、動かなかったらパッチをください。

Linux での読み上げはインストール先に Style-Bert-VITS2 をインストールして、EasyNovelAssistant/setup/res/config.yml を Style-Bert-VITS2/ にコピーすれば動作するかもです。

トラブルシューティング

インストール

• PC の管理者権限がないとインストールに失敗することがあります。

• ウィルスチェックソフトのアバストが有効だとインストールに失敗します。

  • ウィルスチェックソフトによっては KoboldCpp/koboldcpp.exe が不正なソフトとして扱われ、対象のコンピュータによって拒否されたため、接続できませんでした。 といったエラーになることがあります。
    • KoboldCpp/ をウィルスチェック対象外とすることで回避できる場合があります。

• グラフィックスドライバが古いと、起動に失敗することがあります。

  • ドライバを更新したら NVIDIA コントロールパネル の 3D 設定の管理 で、CUDA - システム メモリ フォールバック ポリシー を システム メモリ フォルバックなしを優先 にします。

• AVX2 をサポートしていない CPU では、koboldcpp_cublas.dll の初期化に失敗します。

  • KoboldCpp/koboldcpp.exe で KoboldCpp を直接起動して、動作する起動オプションを探します。
    • 例）Presets: を CLBlast NoAVX2(Old CPU) にして、GPU ID: を NVIDIA 系にする。
  • KoboldCpp が起動している状態で EasyNovelAssistant を起動すると、起動している KoboldCpp をそのまま利用できます。

• 特定の環境において 読み上げサーバーを立ち上げる で ModuleNotFoundError: No module named 'GPUtil' がでる場合に、Style-Bert-VITS2/venv/Lib/site-packages/GPUtil-1.4.0.dist-info をコピーして Style-Bert-VITS2/venv/Lib/site-packages/GPUtil/ にリネームすると動作した事例報告がありました。

更新

• KoboldCpp のバージョンを更新したい。
  • KoboldCpp/koboldcpp.exe をリネームもしくは削除して更新すると、最新版をダウンロードします。
• 更新時にエラーが表示されました。
  • もう一度更新して、エラーが再発しなければ問題ありません。
• 更新後に動作がおかしくなった。
  • config.json をリネームか削除してから起動して、設定をリセットしてみてください。
  • バッチファイルの実行だけで環境を構築できますので、別フォルダに新環境をインストールしてみて、同じ問題が起こるかを確認してみてください。