EasyNovelAssistant

軽量で規制も検閲もない日本語ローカル LLM『LightChatAssistant-TypeB』による、簡単なノベル生成アシスタントです。
ローカル特権の永続生成 Generate forever で、当たりガチャを積み上げます。読み上げにも対応。

内部で呼び出している KoboldCpp や Style-Bert-VITS2 を直接利用することもできますし、EasySdxlWebUi で画像を生成しながら利用することもできます。

利用者の声

記事

• 『【検閲なし】GPUで生成するローカルAIチャット環境と小説企画＋執筆用ゴールシークプロンプトで叡智小説生成最強に見える』@kagami_kami_m
  • @Emanon_14, @bla_tanuki, @bla_tanuki,
• 作例『[AI試運転]スパーリング・ウィズ・ツクモドウ』と 制作の感想。

動画

EasyNovelAssistantの利用検証, 負けヒロインの告白

つぶやき

@AIiswonder, @umiyuki_ai, @dew_dew, @StelsRay, @kirimajiro, @Ak9TLSB3fwWnMzn, @Emanon_14, @liruk, @maru_ai29, @bla_tanuki, @muchkanensys, @shinshi78, 865, 186, @kurayamimousou, @boxheadroom, @luta_ai, 0026, @liruk, @kagami_kami_m, @AonekoSS, @maaibook, @corpsmanWelt, @kiyoshi_shin, @AINewsDev, @kgmkm_inma_ai, @AonekoSS, @StelsRay, @mikumiku_aloha, @kagami_kami_m, @2ewsHQJgnvkGNPr, @ainiji981, @Neve_AI, @WreckerAi, @ai_1610, @kagami_kami_m, @kohya_tech, @kohya_tech, @G13_Yuyang, 0611, 0549

お知らせへの反応

• 読み上げ音声に画像を割り当てて、字幕付きの動画の簡単作成に対応
  • @yuki_shikihime
• EasyNovelAssistant と EasySdxlWebUi で、絵と文章と音声をローカル PC で同時生成
  • @StelsRay, @hysierra, @currnya, 984
• EasyNovelAssistant の音声読み上げ対応
  • @StelsRay @555zamagi, 879, @kurayamimousou

インストールと更新

インストールや更新で困ったことが起きたら、こちら を参照してください。

1. Install-EasyNovelAssistant.bat を右クリックして 名前をつけて保存 で、インストール先フォルダ（英数字のパスで空白や日本語を含まない）にダウンロードして実行します。
   • WindowsによってPCが保護されました と表示されたら、詳細表示 から 実行 します。
   • 配布元から関連ファイルをダウンロード することに問題がなければ y を入力します。
   • Windows セキュリティ のネットワークへのアクセス許可は 許可 してください。
2. インストールが完了すると、自動的に EasyNovelAssistant が起動します。

インストール完了後は

• Run-EasyNovelAssistant.bat で起動します。
• Update-EasyNovelAssistant.bat で更新します。

次のステップは はじめての生成 です。

最近の更新

2024/06/16

• 『Ninja-V2-7B』を追加しました。

2024/06/14

• KoboldCpp を更新する Update-KoboldCpp.bat と、CUDA 12版の KoboldCpp に更新する Update-KoboldCpp_CUDA12.bat を追加しました。
  • CUDA 12版は最近の NVIDIA GPU でより高速に動作します。

2024/05/29

• 『Ninja-v1-RP-expressive-v2』を追加しました。

2024/05/23

• Aratako さんの自信作な新モデル 『Ninja-v1-RP-expressive』を追加しました。
  • ロールプレイ用モデルですが、他の用途でも使えそうな感触です。
  • ロールプレイ（チャット）をしたい場合は プロンプトフォーマット を確認して、KoboldCpp/koboldcpp.exe を 直接ご利用ください。

2024/05/22

• Japanese-TextGen-Kage の更新に対応しました。

2024/05/19

• 生成 メニューの 生成の開始/終了 (Shift+F5) のトグル誤操作の対策として、生成を開始 (F3) と 生成を終了 (F4) を追加しました。
  
• Japanese-TextGen-MoE-TEST-2x7B-NSFW と Japanese-Chat-Evolve-TEST-NSFW の Ch200 差し替え版に対応しました。
  • Japanese-Chat-Evolve-TEST-NSFW の コンテキストサイズ上限 が 8K から 4K に下がっていますので、ご注意ください。

2024/05/17

• Japanese-TextGen-MoE-TEST-2x7B-NSFW の ファイル名変更 に対応しました。

2024/05/16

• Japanese-TextGen-MoE-TEST-2x7B-NSFW 作者 dddump さん の新モデル 2種を追加しました。
  • Japanese-Chat-Evolve-TEST-NSFW は コンテキストサイズ上限 を 8K まで設定できます。
  • Japanese-TextGen-Kage は コンテキストサイズ上限 を 32K まで設定できます。
    • Geforce RTX 3060 12GB 環境では コンテキストサイズ上限 が 16K だと GPU レイヤー を L33 でフルロードできます。

2024/05/11

大規模な更新ですので、不具合がありましたらお知らせください。

• プロンプト入力欄がタブ付きになり、複数のプロンプトの比較や調整がやりやすくなりました。
  
• 複数ファイルやフォルダを開けます。ドラッグ＆ドロップにも対応しています。
  • 最近開いたフォルダや最近使ったファイルで作業状況を復元できます。
    • ファイル名順で読み込みますので、プロンプト順のコントロールに活用ください。
      
• タブに イントロプロンプト を指定すると、他のタブのプロンプトを生成時に付け足せます。
  • 世界観、キャラ設定、あらすじなどをイントロとして、各章の執筆を別タブ・別ファイルで進められます。
  • 入力欄の先頭に // intro\n があると イントロプロンプト として扱います。
    • タブを右クリックして、イントロプロンプト で設定してください。
      
• これらの章別執筆のサンプルを sample/GoalSeek/ に用意しました（@kagami_kami_m さんの記事 を元にしています）。
  • GoalSeek のフォルダをドラッグ＆ドロップして、フォルダごと読み込みます。
  • 例えば 10-序章 タブを生成する際に、イントロプロンプトに指定した 01-執筆 が自動的に前に付け足されます。
    • 前章を記憶として付け足したり、執筆済みの章を要約して任意に付け足したりもできます。
• 最近の個性豊かな軽量モデル公開ラッシュに対応しました。
  • Japanese-TextGen-MoE-TEST-2x7B-NSFW
  • ArrowPro-7B-RobinHood
  • ArrowPro-7B-RobinHood-toxic
  • ArrowPro-7B-KUJIRA
  • Fugaku-LLM-13B-instruct
• llm_sequence.json のフォーマットを変更しました。
  • 詳細は EasyNovelAssistant/setup/res/default_llm_sequence.json を参照ください。
• 入力欄タブのコンテキストメニューに タブを複製 を追加しました。

2024/05/10

• Ocuteus-v1 を KoboldCpp で試せる KoboldCpp/Launch-Ocuteus-v1-Q8_0-C16K-L0.bat を追加しました。
  • GPU レイヤーを増やして高速化したい場合は、bat をコピーして Launch-Ocuteus-v1-Q8_0-C16K-L33.bat などにリネームし、set GPU_LAYERS=0 を set GPU_LAYERS=33 に書き換えます。

2024/05/07

• 設定 メニューに フォント、フォントサイズ、テーマカラーの反転 を追加しました。
  • フォントの選択欄が上下にとても長くなっていますので、キーボードの上下キーで選択してください。
  • config.json の以下の項目を編集すれば、細かく色を設定することもできます。

	"foreground_color": "#CCCCCC",
	"select_foreground_color": "#FFFFFF",
	"background_color": "#222222",
	"select_background_color": "#555555",

2024/05/06

• コンテキストサイズ上限 以上の 生成文の長さ を指定した際に、生成文の長さ を自動的に短縮するようにしました。
  • アップデート後に入力欄と関係のない文章が生成されていた方は、この対応で修正されます。
  • 生成文の長さ が 4096 以上の長文を生成する方法
    • モデルを Vecteus(4K) からLightChatAssistant や Ninja に変更
    • コンテキストサイズ上限 を 6144 以上に設定
    • 生成文の長さ を 4096 以上に設定
  • コンテキストサイズ上限 を増やすと VRAM 消費も増えますので、動作しない場合はモデルの GPU レイヤー数（L33 など）を引き下げてください。
• sample/user.json ファイルがあれば、他の sample/*.json と同じように ユーザー メニューを追加するようにしました。

過去の更新履歴

ドキュメント

EasyNovelAssistant

• インストールと更新
  • インストールと更新の詳細説明とトラブルシューティングです。
• はじめての生成
  • EasyNovelAssistant のチュートリアルです。
• モデルと GPU レイヤー数の選択
  • 多様なモデルを効率的に利用する方法です。
• Tips
  • ちょっとした情報です。
• 動画の作成
  • 読み上げ音声に画像を割り当てて、字幕付きの動画を簡単に作成します。
• 更新履歴
  • 過去の更新履歴です。

ライセンス

このリポジトリの内容は以下を除き MIT License です。

• インストール時に ダウンロードするモノの一覧 を表示します。
• EasyNovelAssistant/setup/res/tkinter-PythonSoftwareFoundationLicense.zip は Python Software Foundation License です。
• Style-Bert-VITS2 がダウンロードする JVNV 派生物は CC BY-SA 4.0 DEED です。