Training Lora
我们提供了一个可供EasyAnimate V2进行Lora训练的图文数据集。
这是一个人像的Minimalism极简风数据集，共包含约20张图片，其中demo如下所示：
数据集中已经提供了标注信息。我们可以将其放置在datasets目录下，如下图所示。
在这里我们即可使用相对路径也可以使用绝对路径，为了不同机器的使用方便，这里我使用了相对路径。
如果同学们期待使用自己的数据集进行训练，训练准备数据集json文件，数据集json文件的格式如下：
[
{
"file_path": "videos/00000001.mp4",
"text": "A group of young men in suits and sunglasses are walking down a city street.",
"type": "video"
},
{
"file_path": "train/00000001.jpg",
"text": "A group of young men in suits and sunglasses are walking down a city street.",
"type": "image"
},
.....
]其中，file_path指的是文件的路径，type指的是文件的种类，有video和image两种，text指的是视频对应的描述。
训练Lora权重需要使用到scripts/train_t2iv_lora.sh文件，我们主要修改其中的DATASET_NAME和DATASET_META_NAME。
DATASET_NAME指向了数据集相对路径的根目录，以本文的摆放路径为例，直接指定EasyAnimate的根目录即可，即"./"
DATASET_META_NAME指向了数据集对应的json文件，指向Minimalism下的json文件，即"datasets/Minimalism/metadata_add_width_height.json"即可。
为满足更低的显卡需求，在这里我们开启low_vram减少显存需求，当前最低显存要求为24G，对应A10、3090、4090、4090D显卡。
开始训练的流程较为简单，在配置好的环境下直接sh scripts/train_t2iv_lora.sh即可。
开始训练后如下所示：
我们首先将训练好的Lora移动到指定的文件夹。
然后python app.py启动webui，在页面上进行选择。
点击下方的生成即可获得结果。