TryOn
本Wiki用于指导用户使用EasyPhoto进行虚拟试衣任务。
- 通过指定模版图片和参考的衣物图片，一键使用虚拟试衣功能。
- 支持换衣与换脸功能的灵活切换，生成更多样化、可控的写真。
PS: EasyPhoto 中的TryOn为anyid分支的简化版本，其为了方便您在不引入额外的环境/简单的流程下尝试虚拟试衣。如您对虚拟试衣的效果(id 保持/姿态变化)有更高的要求，请移步至anyid分支，具体流程见AnyId。具体地，AnyID分支可进行额外的：
- 支持上传更多的参考图片及灵活的训练参数来达到更好地衣物id保留效果。
- 支持基于zero123的3d旋转，进行侧身/多视角的虚拟试衣。
- 支持宠物、家具等其他inpaint场景。
下图是Virtual TryOn的翻译简介。
原理：整个虚拟试衣过程分为两步
- 利用上传的参考图片训练一个当前衣服的LoRA模型。
- 通过算法匹配模版图片与参考图片，并结合ControlNet的推理能力进行局部重绘。
需要注意的是 本算法目前仅支持同类型衣服的替换（如短袖换短袖），当输入的参考图片与模版图片类型不吻合时，仅保留参考图片的样式（纹理、图案、颜色等信息），而会适应模版图片的形状。
Step1：上传一张模版图片（或在Gallery中选择一张模版图片）。
您可以直接上传一张自定义的（需要换衣）的模版图片。或在EasyPhoto中生成一张满意的人像写真后，单击 👔 图标 将人像写真发送至虚拟试衣界面中。
Step2: 对需要替换的区域进行标记。
我们支持以下三种方式进行区域的标记
- 点选（请注意，点选请点击至少两个点）。
- 框选（通过一个闭环标记一个大致的范围）
- 直接在右边上传图像对应的mask
⚠️ 我们强烈推荐您通过右边的👀按钮来查看自动生成的mask，来确保生成链路的可靠性。
Step3: 选择一张参考的衣物图片。
请注意，所上传的参考图片需尽可能的仅包含完整/正面的主体信息，且衣服尽量平整。
您有以下两种方式，进行参考图片的选择。
- 在cloth gallery选项卡中将保留历史已经获得的参考图片，单击其中的一张来进行选择。
- 在upload选项卡中上传一张新的参考图片，与Tempalate 一致的方式标记mask区域，并指定该图片的userid来设置参考图片。
- 参考图片 将默认以 cloth_{输入的userid}_{train_steps}进行命名。
- 训练完成后 单击cloth gallery 中的 🔄 图片以更新cloth gallery 可看见保存的新参考图片。
Step4: 在Advanced Option中修改默认的参数。参数的含义如下：
| 名称 | 含义 | 默认值 |
|---|---|---|
| Train Steps | LoRA 模型的训练步数 | 200 |
| Diffusion Steps | Inpaint 推理步数 | 50 |
| Diffusion denoising stength | Inpaint 重构系数 | 0.7 |
| LoRA weight | LoRA 权重（越大越保留main特征） | 0.8 |
| IoU Threshold | 匹配main和template的停止条件 （可达范围内越大越贴合，但搜索时间更长，可通过后台log查看优化过程） | 0.7 |
| Angle | 贴图角度（启用优化时，作为初值，禁用时直接用于贴图） 正数为顺时针旋转 | 0.0 |
| Azimuth | 3d旋转角度 （请切换至AnyID使用本功能） | 0.0 |
| Ratio | 贴图放缩比例（启用优化时，作为初值，禁用时直接用于贴图） | 1.0 |
| Dx | 贴图水平移动像素（向右为正） | 0.0 |
| Dy | 贴图水平移动像素（向下为正） | 0.0 |
| Batch Size | 出图数目 | 1 |
| Optimize Angle and Ratio | 是否优化贴图旋转角度及比例（关闭时直接使用angle，ratio） | True |
| Refine Boundry | 是否优化边缘（开启后会对mask边界二次重绘） | True |
| Pure Image | Main是否为颜色/花纹简单图像（开启后，整体色调保持与main主体一致，关闭后将由ipa先生成参考图像，用于保持原图花纹） | True |
Step5: 单击Start Try on 按钮可执行虚拟试衣的过程
- 若所设置的userid 及训练步数对应的模型不存在，将首先训练一个当前衣服的LoRA模型。
- A10 显卡，200 steps 大约需要1min左右。
- 最后生成的结果，从左往右依次为inpaint结果，inpaint+边缘优化，匹配的中间结果
- 算法将优化匹配一个最优的贴图方式，您也可以关闭optimize_angle_and_ratio 通过手动调节angle, ratio来直观的调整效果。
- 您可单击生成结果下方的 📷 图标，来将生成结果发送给Photo Inference 进一步进行人像调整。或单击 🖼️ (img2img), 🎨️ (inpaint) 在相应面板中对图像细节进行进一步优化。
