Qwen2-VL-7B的微调out of memory

[KirbytroNic0528]

CUDA_VISIBLE_DEVICES=3,4 NPROC_PER_NODE=2 swift sft
--model_type qwen2-vl-7b-instruct
--model_id_or_path qwen/Qwen2-VL-7B-Instruct
--sft_type lora
--dataset dataset.json
torch版本2.4.0
cuda12.2
设备8*A40
使用的是这个命令，其中一张显卡的显存会无限增加直到out of memory
/

[Jintao-Huang]

参考这里：https://swift.readthedocs.io/zh-cn/latest/Multi-Modal/qwen2-vl%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.html#ocr

[Jintao-Huang]

You can save memory by reducing SIZE_FACTOR=8 and MAX_PIXELS=602112.

[Jade0321]

用8张A100跑，batch_size=1，也会out of memory，没找到SIZE_FACTOR=8 and MAX_PIXELS=602112.

[Jintao-Huang]

#1859