更新履歴
-
読み上げメニューに入力欄を読み上げを追加しました。-
F5キーで読み上げも中断します。
-
- 入力欄の 行頭 に
//で、その行をコメントとして扱うようにしました。 - Anneli と Anneli-nsfw をインストール時にダウンロードするようにしました。
- 入力欄の最終行を生成欄や出力欄に付け足すようにしました。
- 入力欄の末尾に改行を入れれば、付け足しません。
-
動画の作成 に対応しました。
- 読み上げ音声に画像を割り当てて、字幕付きの動画を簡単に作成します。
- 急な開発で混み合ったり古くなったりしたドキュメントを整理しました。
- 最初のインストールから音声読み上げまでがスムーズになったはずです。
- 詰まる記述がありましたら、お知らせください。
- 読み上げ間隔を設定できるようにしました。
- Windows 10環境で証明書エラーが発生するらしく、curl の --ssl-no-revoke オプションを -k に変更しました。
- LLM 入出力のコンテキストサイズの上限を
モデル-コンテキストサイズ上限メニューで指定するようにしました。- デフォルト値は
4Kで、VRAM 8GB 環境でLightChatAssistant-2x7B-IQ4_XSのL30かL33が動作します。 - 長い文章を取り扱いたい場合は、より大きなコンテキストサイズを指定します。
ただし GPU レイヤー数に応じて消費 VRAM が増えます。
- デフォルト値は
- mmnga/Vecteus-v1-gguf, mmnga/Ninja-v1-128k-gguf, mmnga/Ninja-v1-NSFW-128k-gguf の IQ4_XS 版をダウンロードできるようにしました。
- コンテキストウィンドウの仕様変更に備えて、
KoboldCpp/Run-*-L0.batを起動時に再生成するようにしました。- 当初より「bat ファイルをコピーして、set GPU_LAYERS=0 あたりをお好みに変更してご利用ください。」と案内しておりましたが、失われて困る変更がありましたらコピーしてから更新してください。
- ファイルの保存時に上書きするファイルがある場合は、
log/にバックアップするようにしました。- うっかり上書きしてしまったら
log/を覗いてみてください。
- うっかり上書きしてしまったら
-
ファイルメニューにファイル監視を追加して、お好みのテキストエディタと連携できるようになりました。
あなたの手に馴染んだテキストエディタで入力を保存すると、EasyNovelAssistant が自動で読み込みます。
これもローカル LLM の利点ですね。
- メニュー周りを整理しました。
-
特集テーマメニューと作例や記事メニューを追加しました。 -
モデルメニューをカテゴリ分けしました。 -
ツールメニューを追加しました。
-
- 注意書きを追加しました。
- AVX2 をサポートしていない CPU では、
koboldcpp_cublas.dllの初期化に失敗します。-
KoboldCpp/koboldcpp.exeで KoboldCpp を直接起動して、動作する起動オプションを探します。- 例）
Presets:をCLBlast NoAVX2(Old CPU)にして、GPU ID:を NVIDIA 系にする。
- 例）
- KoboldCpp が起動している状態で
Run-EasyNovelAssistant.batで EasyNovelAssistant を起動すると、そのまま利用できます。
-
- AVX2 をサポートしていない CPU では、
- Linux 版の KoboldCpp のバージョンを 1.64 に上げました。
- ファイル名が
koboldcpp-linux-x64からkoboldcpp-linux-x64-cuda1150に変更されていますので更新してください。
- ファイル名が
- 「」の無い文章を読み上げなくなっていた不具合を修正しました。
- モデルに
Ninja-v1-NSFW-128k-Q_8_0,Ninja-v1-NSFW-Q_8_0,Ninja-v1-128k-Q_8_0,Ninja-v1-Q_8_0,Vecteus-v1-Q4_K,umiyuki-Japanese-Chat-Umievo-itr001-7b-Q4_K_Mを追加しました。 -
テンプレートメニューにゴールシーク: 小説企画からプロッティングとゴールシーク: 生成した設定とプロットで執筆を追加しました。- 使い方は『【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える』を確認ください。
-
ヘルプのゴールシークからも上記記事を確認できます。
- 読み上げ文章の抽出ロジックを変更しました。
- より文脈に沿った読み上げになりますが、文末ノイズが乗る可能性があります。
- 個別に対処しますので、文末ノイズが乗る文面がありましたら、連絡をください。
- より文脈に沿った読み上げになりますが、文末ノイズが乗る可能性があります。
- 自動で起動している
[元祖] LightChatAssistant-TypeB-2x7B-IQ4_XSのコマンドプロンプトを閉じます。 -
モデルメニューからVecteusやNinjaのL0を選びます。-
L0の数値を上げれば上げるほど高速に動作しますが、VRAM が必要になります。 - Vecteus IQ4_XS (コンテキストウィンドウ 4K) は VRAM 6GB でも全 33 レイヤーが載ります。
- Ninja 128K はコンテキストウィンドウと GPU レイヤーで、VRAM をトレードオフすることになります。
-
Vecteus と Ninja の個人の感想
- Vecteus Q4_K のコスパが凄まじい。
ぜひ IQ4_XS 版を触ってみたい。- Vecteus のコンテキスト広げた版にも期待。
- Ninja も 128K でない版を 4K コンテキストで動かしていると良好。
- 128K 版ではコンテキスト 16K あたりから品質に悪影響があるような気がする？（LCA 32K 感覚比）
- とりあえず 128K 版を 8K 運用。
- 128K 版ではコンテキスト 16K あたりから品質に悪影響があるような気がする？（LCA 32K 感覚比）
- Ninja に Instruction format を適用すると、申し訳される？
Ninja の量子化が Q_8_0 までしか無い。IQ4_XS 版を触ってみたい。
-
Style-Bert-VITS2 による読み上げに対応しました。
- 中クリックによる手動読み上げと、
キャラ名「～」セリフフォーマットによる生成時自動読み上げに対応しています。 -
Style-Bert-VITS2/フォルダ内は通常の Style-Bert-VITS2 として利用できます。- Style-Bert-VITS2 のチュートリアル: YouTube, ニコニコ
-
Style-Bert-VITS2/Editor.batで、音程調整ありの音声生成ができます。 - モデルの追加は
Style-Bert-VITS2/model_assets/にフォルダを作ってモデルのファイルを配置します。- 例）
Style-Bert-VITS2/model_assets/にtsukuyomi-chan/フォルダを作成して、.safetensorsとconfig.jsonとstyle_vectors.npyを保存するとモデルを利用できます。 - 他のモデル: Anneli, Anneli-nsfw
- 例）
-
Style-Bert-VITS2/App.batでお手元の音声データからモデルを作成できます。- 音声の分割、読みの追加など学習に必要な機能が一通り揃っています。詳細は 公式ページ を参照ください。
- 中クリックによる手動読み上げと、
- EasyNovelAssistant を起動したら、[
読み上げ] - [Style-Bert-VITS2 をインストール"] でインストールの完了を待ちます。 - インストールが完了したら [
読み上げ] - [読み上げサーバーを立ち上げる] で読み上げサーバーの起動を待ちます。-
Style-Bert-VITS2 読み上げサーバーに00-00 00:00:00 | INFO | server_fastapi.py:306 | server listen: http://127.0.0.1:5000が表示されたら起動完了です。 - LLM(KoboldCpp) で VRAM ギリギリまで GPU レイヤーを増やしていた場合は、VRAM を 2GB 程度開けるために GPU レイヤーを 5 枚程度(Run-LightChatAssistant-2x7B-IQ4_XS 換算) 減らしてください。
- VRAM が 6GB 未満の場合は [
読み上げ] - [GPU を使用する] を無効にします。 - KoboldCpp と同様に
Style-Bert-VITS2/Server.batやStyle-Bert-VITS2/ServerCpu.batで、あらかじめ読み上げサーバーを立ち上げておくこともできます。
-
- 読み上げサーバーが起動したら、[
読み上げ] メニューで読み上げの有効/無効、音量、スピード、声の選択ができます。 - 中クリックで読み上げたり、[
読み上げサンプル] メニューを参考に生成時に自動で読み上げたりできます。- 重要！ [
設定] メニューで名前を設定するのを忘れないでください！
- 重要！ [
- [
設定] メニューでサンプル用のキャラクター名とユーザー名を指定できるようにしました。- サンプルを毎度書き換えなくとも、お好みの名前を自動的に設定します。
-
旧バージョンではサンプルに
{char_name}や{user_name}が表示されます。
Update-EasyNovelAssistant.batで更新してください。
- 細かな実装改善
- 非選択時の中ボタンで、クリックした行を入力欄に送る対応。
- 出力欄だけでなく、生成欄でも中クリックで入力欄に送る対応。
- サンプル系メニューにスプリッタ追加。
- ログを日付ディレクトリに格納。
- コンソールへの生成ログ表示。
- モデルサーバーがビジーだった場合に自動で中断送信。
- モデルに超軽量日本語 NSFW 小説モデルの SniffyOtter-7B-Novel-Writing-NSFW-IQ4_XS を追加しました。
- 合わせて追加したメニューの [
テンプレート] - [SniffyOtter-7B-Novel-Writing-NSFW] で プロンプトフォーマット に沿ってご利用ください。
キーワードはジャンルに合わせて設定する必要があります。-
男性向け: ノクターンノベルズ 人気キーワード一覧 -
女性向け,BL: ムーンライトノベルズ 人気キーワード一覧 -
大人向け: ミッドナイトノベルズ 人気キーワード一覧
-
- 合わせて追加したメニューの [
- モデルに SniffyOtter-7B-Q4_0 を追加しました。
- モデルに Antler-7B-Novel-Writing-IQ4_XS を追加しました。
- プロンプトフォーマット と その属性 を確認してからご利用ください。
-
moc67331 さんによる Linux 対応 を適用しました。
-
Install-EasyNovelAssistant.shをインストール先フォルダで実行してください。
-
- EasyNovelAssistant を公開しました。
-
が、公開直後に HuggingFace が不調になる不運に見舞われました。
HuggingFace の Status が online であることを確認してからインストールを開始してください。
-
が、公開直後に HuggingFace が不調になる不運に見舞われました。