能否使用自己的测试集对微调后的模型进行批量推理？

[a2382625920]

我希望可以有一个脚本，将自己的数据集放入模型，对微调的模型进行批量预测

[Jintao-Huang]

使用vllm, https://github.com/modelscope/swift/blob/main/docs/source/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.md.

[Jintao-Huang]

inference_vllm中的request_list把所有数据集的内容传入. List[Dict[str, str]]

[a2382625920]

我是对qwen-vl-chat进行的微调，使用了我自己的图文对进行训练，vllm可以也可以使用我的图文对测试集进行批量推理么？

[Jintao-Huang]

哦 不行的... 现在不支持批量推理

[a2382625920]

那好吧，yi-vl-6B也是不支持的吗?而且训练yi-vl-6B的时候直接在sft.sh中添加--custom_train_dataset_path进行训练报错了
Traceback (most recent call last):
File "/root/siton-glusterfs-eaxtsxdfs/hzt/projects/swift/swift/cli/sft.py", line 5, in
sft_main()
File "/root/siton-glusterfs-eaxtsxdfs/hzt/projects/swift/swift/utils/run_utils.py", line 31, in x_main
result = llm_x(args, **kwargs)
File "/root/siton-glusterfs-eaxtsxdfs/hzt/projects/swift/swift/llm/sft.py", line 144, in llm_sft
td0, tkwargs0 = template.encode(train_dataset[0])
File "/root/siton-glusterfs-eaxtsxdfs/hzt/projects/swift/swift/llm/utils/template.py", line 521, in encode
images_path = example['images']
KeyError: 'images'

我也看到你们关于对yi-vl-6B重新对数据集做了一个新的模板，但是直接使用--custom_train_dataset_path进行拓展的话是不是要定义一下拓展数据集的模板，我现在就是希望--custom_train_dataset_path可以直接加载作为yi-vl-6B的数据集。

[a2382625920]

我看到你们在dataset.py中有一个针对于yi-vl系列的数据集格式的模板但是那是针对官方的coco-mini-en数据集的，但是自定义数据的快速拓展针对yi-vl系列并没有很好的兼容。

[Jintao-Huang]

https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md#-%E6%8E%A8%E8%8D%90%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0%E7%9A%84%E5%BD%A2%E5%BC%8F

[a2382625920]

好的，感谢，忘记这部分了，我去尝试一下

[xs818818]

我是对qwen-vl-chat进行的微调，使用了我自己的图文对进行训练，vllm可以也可以使用我的图文对测试集进行批量推理么？

vllm推理lora微调的qwen-vl-chat?

[xs818818]

我所知的是lora合并后是无法使用vllm推理的，目前为跑通的是qwen-vl下的代码能跑lora合并的微调模型

[Jintao-Huang]

多模态模型目前没法使用vllm加速.

[Sui-Xing]

yi-vl模型貌似可以用--custom_val_dataset_path数据集批量推理，但推理不全，swift infer命令设置--custom_val_dataset_path参数，只会输出10个推理结果

[Jintao-Huang]

只会输出10个推理结果 这个原因是需要设置一下 val_dataset_sample 参数 设置为-1