ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs, Viraj Shah+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.13600

Affiliations

• Viraj Shah, N/A
• Nataniel Ruiz, N/A
• Forrester Cole, N/A
• Erika Lu, N/A
• Svetlana Lazebnik, N/A
• Yuanzhen Li, N/A
• Varun Jampani, N/A

Abstract

• Methods for finetuning generative models for concept-driven personalizationgenerally achieve strong results for subject-driven or style-driven generation.Recently, low-rank adaptations (LoRA) have been proposed as aparameter-efficient way of achieving concept-driven personalization. Whilerecent work explores the combination of separate LoRAs to achieve jointgeneration of learned styles and subjects, existing techniques do not reliablyaddress the problem; they often compromise either subject fidelity or stylefidelity. We propose ZipLoRA, a method to cheaply and effectively mergeindependently trained style and subject LoRAs in order to achieve generation ofany user-provided subject in any user-provided style. Experiments on a widerange of subject and style combinations show that ZipLoRA can generatecompelling results with meaningful improvements over baselines in subject andstyle fidelity while preserving the ability to recontextualize. Project page:https://ziplora.github.io

Translation (by gpt-3.5-turbo)

• 概要：
  概念駆動型のパーソナライズのための生成モデルの微調整手法は、通常、主題駆動型またはスタイル駆動型の生成において強力な結果を達成しています。
  最近、低ランク適応（LoRA）が提案され、概念駆動型のパーソナライズを効率的に実現する方法として注目されています。
  最近の研究では、学習されたスタイルと主題の結合生成を実現するために、別々のLoRAの組み合わせを探求していますが、既存の技術は問題を確実に解決することができません。
  通常、主題の忠実度またはスタイルの忠実度のどちらかを犠牲にすることがあります。
  私たちは、ZipLoRAという方法を提案します。
  これは、独立してトレーニングされたスタイルと主題のLoRAを安価かつ効果的に統合するための方法であり、ユーザーが提供した任意の主題をユーザーが提供した任意のスタイルで生成することができます。
  さまざまな主題とスタイルの組み合わせに対する実験結果は、ZipLoRAがベースラインと比較して主題とスタイルの忠実度において意味のある改善をもたらしながら、再文脈化の能力を保持して魅力的な結果を生成できることを示しています。
  プロジェクトページ：https://ziplora.github.io

Summary (by gpt-3.5-turbo)

• 概要：
  概念駆動型のパーソナライズのための生成モデルの微調整手法であるZipLoRAを提案。
  ZipLoRAは、独立してトレーニングされたスタイルと主題のLoRAを統合し、任意の主題とスタイルの組み合わせで生成することができる。
  実験結果は、ZipLoRAが主題とスタイルの忠実度を改善しながら魅力的な結果を生成できることを示している。