Bucketingにこの機能を追加していただけますか？

[tkgix]

あなたの苦労に感謝します。

より良いバケッティングのために、下記の機能を追加していただけますか？

https://www.youtube.com/watch?v=0xswM8QYFD0

バケッティングされたサイズより大きい画像の場合、
ステップごとに余白部分を移動しながら隅々まで学習する方法です。

https://github.com/victorchall/EveryDream-trainer

上記の映像はここにあるrepoに対する映像です。

どうかご考慮くださいますようお願い申し上げます。

[kohya-ss]

提案ありがとうございます。動画を確認しました。内容は理解できたと思います。

恐らくそれほど難しくないので、現在行っているリファクタリングに取り込みたいと思います。リファクタリングではそれぞれのスクリプトのDatasetを共通化する予定なので、それぞれのスクリプトでこの機能が有効にできるはずです。

オプション等でON/OFFを指定できてもいいかもしれませんが、さほど悪影響はなさそうですので、デフォルト有効で良いかと思います。

[tkgix]

前向きに判断していただき、誠にありがとうございます。

お話しいただいたON/OFFについて慎重に申し上げますと、
学習にどのような影響があるか確認できるように、ON/OFFができればもっと良くなると思います。

楽しみにしています！

[kohya-ss]

この機能は先日、実装されました。random_cropオプションを指定すると、この機能が有効になります。お試しいただければ幸いです。

[tkgix]

返事が遅くなりました。

数週間前の経験によるお返事になりますが、

この機能を使用するには、prepare_buckets_latents.pyを使用してはいけませんが、実行すると"metadataがありません"というエラーメッセージとともに実行できませんでした。

prepare_buckets_latentsでmetadataを生成した後、latentファイル(npz)を削除し、メタデータのサイズ記載を削除したり修正したりするなど面倒な過程があったため使用を中断していました。
最近はどうなのかわかりません。

[tkgix]

今も同じですね。
新しくできたTOMLファイル形式で実行してみましたが、metadataを強制する部分でエラーが発生します。

大変失礼ですが… メタデータ ファイルの作成を強制する必要がありますか？
実行段階で十分に処理できると思います。

[kohya-ss]

現在、prepare_buckets_latents.pyでnpzファイルを事前に作成しなくても（メタデータにサイズ記載がなくても）、動作します。ドキュメント更新が追い付いていなくて申し訳ありません。

メタデータはキャプションとタグの両方をまとめて管理するために存在します。ですので、もしキャプションのファイルが画像毎に1件ずつしかないなら、DreamBooth方式のデータセットでcaption_extensionを指定する方法が使えます。

お試しいただければ幸いです。ドキュメントについてはなるべく早く更新します。

[tkgix]

謝ることではないと思います。（笑）
事前にlatentを取得しなくてもよくなったのは幸いです。

私はfinetuning方式を使います。 画像 1 枚ごとにキャプション ファイル 1 枚でマッチングされるセットを使用しています。
おそらくこれが一般的な方式だと思いますが、それでもmerge_dd_tags_to_metadataを通じてメタデータファイルを作らなければ実行されませんね。
実行時にmetadataファイルがなければ、名前がイメージファイルと同じtxtファイルからキャプションファイルを読むことで簡単に処理して、利便性を大幅に高めることができると思います。
実は、このmetadataを生成する過程がかなり疲れます。

[tkgix]

それにしても、最近アップデートされたmulti resolution機能を今使って検証中ですが、とても素晴らしいです。 きれいに動作し、結果も良好です。