Photoswap: Personalized Subject Swapping in Images, Jing Gu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2305.18286

Affiliations

• Jing Gu, N/A
• Yilin Wang, N/A
• Nanxuan Zhao, N/A
• Tsu-Jui Fu, N/A
• Wei Xiong, N/A
• Qing Liu, N/A
• Zhifei Zhang, N/A
• He Zhang, N/A
• Jianming Zhang, N/A
• HyunJoon Jung, N/A
• Xin Eric Wang, N/A

Abstract

• In an era where images and visual content dominate our digital landscape, theability to manipulate and personalize these images has become a necessity.Envision seamlessly substituting a tabby cat lounging on a sunlit window sillin a photograph with your own playful puppy, all while preserving the originalcharm and composition of the image. We present Photoswap, a novel approach thatenables this immersive image editing experience through personalized subjectswapping in existing images. Photoswap first learns the visual concept of thesubject from reference images and then swaps it into the target image usingpre-trained diffusion models in a training-free manner. We establish that awell-conceptualized visual subject can be seamlessly transferred to any imagewith appropriate self-attention and cross-attention manipulation, maintainingthe pose of the swapped subject and the overall coherence of the image.Comprehensive experiments underscore the efficacy and controllability ofPhotoswap in personalized subject swapping. Furthermore, Photoswapsignificantly outperforms baseline methods in human ratings across subjectswapping, background preservation, and overall quality, revealing its vastapplication potential, from entertainment to professional editing.

Translation (by gpt-3.5-turbo)

• 画像や視覚的なコンテンツがデジタルの世界で支配的になる時代において、これらの画像を操作して個人的にカスタマイズする能力は必要不可欠になっています。例えば、写真の中の日向ぼっこするタビー猫を自分のかわいい子犬に簡単に置き換えることができるようになると、より没入型の画像編集体験が可能になります。本研究では、既存の画像において個人的な対象物の交換を可能にする新しいアプローチであるPhotoswapを提案します。Photoswapは、参照画像から対象物の視覚的な概念を学習し、事前に学習された拡散モデルを使用してトレーニングフリーでターゲット画像に交換します。適切な自己注意とクロス注意の操作により、よく構想された視覚的な対象物は、交換された対象物のポーズと画像全体の一貫性を維持しながら、どの画像にもシームレスに転送できることを確立しました。包括的な実験により、Photoswapが個人的な対象物の交換において効果的で制御可能であることが示されました。さらに、Photoswapは、対象物の交換、背景の保存、および全体的な品質において、ベースライン手法を大幅に上回る人間の評価を得ており、エンターテインメントからプロの編集まで幅広い応用可能性を示しています。

Summary (by gpt-3.5-turbo)

• 本研究では、Photoswapという新しいアプローチを提案し、既存の画像において個人的な対象物の交換を可能にすることを目的としています。Photoswapは、参照画像から対象物の視覚的な概念を学習し、トレーニングフリーでターゲット画像に交換することができます。実験により、Photoswapが効果的で制御可能であり、ベースライン手法を大幅に上回る人間の評価を得ていることが示されました。Photoswapは、エンターテインメントからプロの編集まで幅広い応用可能性を持っています。