概要

クリックベースで簡単に物体を切り取れるAviutl2プラグインです。 MetaのSAMを用いています。

本プラグインは静止画のみに対応しています。(動画素材の場合は静止画に切り取ってから背景除去を行います。)

動画素材に対してBB素材として切り取るにはこちら (Aviutl2プラグイン)
ダウンロード不要で、動画素材を切り取りたい方はこちら (Google Colab)

• マウスクリックだけで前景・背景を指定
• ブラウザ上でプレビューしながらマスクを調整
• 複数の SAM モデル（軽量〜高品質）から選択可能

利用に際して

本スクリプトを用いて動画制作を行った場合親作品登録をしていただけると開発の励みになります。
親作品登録いただいたら見に行きます。

解説動画はこちらから

開発状況等は作者X: 旧twitterを参照してください。

バグ報告や機能追加の要望がありましたらIssuesから気軽にお願いします。 右上New issueボタンから送れます。

また本プラグインはコミュニティの発展のために、Aviutl2本体の親作品登録を推奨しています。
Aviutl2-catalogを利用することでAviutl2本体/プラグイン/スクリプトの親作品リストを一括で取得できます。

導入方法

1. webGPUを使えるようにする

chrome://gpu とGoogle Chromeで入力し WebGPU: Hardware accelerated があればOK

ない場合はchrome://settings/systemを入力し、

「グラフィック アクセラレーションが使用可能な場合は使用する」をオンにしChromeを再起動してください

2. Aviutl2-catalogからプラグインをダウンロードする場合(推奨)

Aviutl2-catalogをダウンロードし、インストールボタンを押すだけで導入は完了です。

Aviutl2-catalog は、AviUtl2 のプラグインやスクリプトを「検索→導入→更新」まで一括管理できるデスクトップアプリです。
従来のようにダウンロード時には解凍してファイルを移動させる必要はありません。
また、アップデートがあれば通知が来て1クリックで更新も完了します。
利用したプラグイン/スクリプトの親作品リストも一括で取得できます。

2. Releaseからダウンロードする場合(Optional)

Aviutl2-catalogを利用されない方はこの方法でダウンロードしてください。
まず、Release から zipファイルをダウンロードして下さい。

その後zipファイルを展開し、中身を以下のように配置してください

ファイル・フォルダ名	配置先
sam_frame_export_filter.auf2 sam_frame_export_filterフォルダ	C:\ProgramData\aviutl2\Pluginフォルダ

最終的に以下の構成になれば成功です。

C:\ProgramData\aviutl2\Plugin\
  ├─ sam_frame_export_filter.auf
  └─ sam_frame_export_filter\
       └─ web\
           ├─ index.html
           ├─ index.css
           └─ index.js

使い方

1. フィルタ効果としてSAM Frame Export(PNG)を選ぶ

デフォルトで抽出のカテゴリに入っています

2. 保存するフォルダを選ぶ

デフォルトで切り抜いた結果はC:\ProgramData\aviutl2\Exportに保存されます。

保存先フォルダ内を選択すると、どのフォルダに保存するかを指定できます。

選択したファイルと同じ場所に結果が保存されるようになります。

cf) C:\ProgramData\aviutl2\example\a.pngを選択した場合C:\ProgramData\aviutl2\example\に保存されます。

3. 抽出したいタイミングに合わせる

切り抜きたいタイミングに合わせて

✅ このフレームをSAMで前景抽出

にチェックを入れてください。

切り抜きたいタイミングを間違えた場合はチェックを外してもう一度入れなおすと変更が出来ます。

4. 切り抜きたい物体を選択する

自動的にブラウザ上で切り抜き用のページが開きます。誤って閉じた場合や開かない場合はブラウザ上で直接 http://127.0.0.1:17860/を開いて下さい。

ブラウザページ上の「SAM: Model」から3つのモデルが選択できます

1. slimsam-77-uniform: 最も早いが性能の悪いモデル。本Document冒頭の犬なら容易に切り抜けますがアニメ素材などでは弱いです
2. sam-vit-base: 間のモデル
3. sam-vit-large: 最も遅いが性能の良いモデル

モデルの性能差の例はモデルの違いの項を参照してください。

Load from Aviutl2を押すと先ほど選択したシーンが表示されます。

左クリックで切り抜きたい部分、右クリックで取り除きたい部分を選択できます。

選択する点を誤った場合Clear pointsを押してください。

選択終了後はCut masksを押してください。

結果がC:\ProgramData\aviutl2\Exportないしあなたが選択したフォルダに保存されます。

5. 切り抜いた物体をDrag and drop

切り抜いた画像をタイムライン上に挿入してください。

モデルの違い

最も軽量だが性能の悪いslimsam-77-uniformで切り抜いた結果が以下になります 冒頭の犬はこちらのモデルで切り抜いたものです。画像に合わせて適切なモデルを選択してください。

一方最も遅いが性能の良いsam-vit-largeで切り抜いた結果が以下になります

ライセンス

MIT ライセンスです。