Video
本Wiki用于指导用户在使用EasyPhoto的特定分支，完成基于人像Lora训练后，如何使用EasyPhoto完成以下的几种功能
- Text2Video ：使用指定user_id + 描述文本，进行具有指定人脸的视频生成
- Image2Video ：使用指定user_id + 模板图片 + 描述， 进行人脸图片的动态视频生成。
- Video2Video ：使用指定user_id 完成视频换脸
PS:如果你不熟悉分支安装，可以跳到文末的 #分支安装说明，查询具体安装方案，使用该功能默认用户已经完成了EasyPhoto人脸模型的训练。
下图是Text2Video的翻译简介。
原理：我们通过集成AnimateDiff repo算法的跨帧Attention技术到EasyPhoto插件，实现整个视频片段上顺滑的人脸生成。
- 在Text2Video功能中,我们首先使用(AnimateDiff设置的SD模型 + mm_sd_v15_v2.ckpt(Animate运动先验模型))，以及用户设定的prompt 和 AnimateDiff相关参数，生成一段顺滑的带有人脸的视频。
- 在生成的视频上逐帧进行EasyPhoto的前处理，然后对视频按照AnimateDiff的设置，使用 (EP选择的SD模型 + AnimateDiff priormodel + UserLora) 进行视频片段上的人脸重绘，用于和指定ID足够相似的顺滑的人脸。
- 在重绘后的结果上，逐帧进行EasyPhoto的后处理，提升人脸的美观度和全局的和谐程度
需要注意的是 我们文到视频的能力完全由参考的AnimateDiff的能力决定。
下面的文到视频采用的是majicmixRealistic_v7，seed=12345，fps=8, max_frame=32
| GIF | prompt |
|---|---|
 |
upper-body, look at viewer, 1girl, wear white dress, besides lake, smiles, Autumn Atmosphere, black eyes, black hair, (cowbody shot, realistic), daytime, f32 |
 |
upper-body, look at viewer, 1girl, wear white dress, In the room, luxurious lighting, laser light effects, black eyes, black hair, (cowbody shot, realistic), daytime, f32 |
 |
upper-body, look at viewer, 1girl, wear white dress, black eyes, black hair, Sitting by the edge of the grass, warm sunlight, half-body, illuminated，(cowbody shot, realistic), daytime, f32 |
- 与Text2Video类似，不同的是用户会输入一张图作为封面图，然后将Text2Video.1使用文本生成视频，改为使用输入图片作为初始的init_latent并指定一定系数的随机衰减构成[init_latent,...]构成初始化的潜变量，结合文本prompt监督，生成Text2Video.1的视频。
- 与单图模式类似，但需要传首尾图，修改了潜变量的初始化，从单图的init_latent 变成首图和尾图的插值 构成的 [init_latent, ... ,end_latent]作为初始化。从而能生成连贯的从初始图到输出图的变化视频，
| first | end | GIF | prompt |
|---|---|---|---|
 |
 |
 |
1girl，elegent，smiles，Gentle Autumn Sunshine |
|
 |
 |
1girl，elegent，smiles，shininglight |
 |
|
 |
1girl，elegent，smiles，from elegent to spotlight, dark to shining |
- 原理与Text2Video相同，去掉了使用AnimateDiff生成视频的步骤1，直接进行步骤2/3， 有一些原视频太大，我们不得不做一些压缩，用户可以下载原链接自行比较，网页做示意用。
| output | src | link |
|---|---|---|
 |
 |
原视频链接 |
 |
 |
原视频链接 |
Video分支已经merge进main，直接安装最新版EasyPhoto即可。