GRPO微调，gpu利用率很低

[Stephen-K1]

用grpo微调Qwen2.5-VL-3B, gpu利用率一直跳来跳去，如上图，利用率有时是0有时是90，总体利用率很低，训练的比较慢，请问有办法可以提升一下gpu使用率吗？微调命令如下：

CUDA_VISIBLE_DEVICES=6,7
NPROC_PER_NODE=2
MAX_PIXELS=200704
swift rlhf
--rlhf_type grpo
--model /workspace/codes/Qwen2.5-VL-main/models/Qwen2.5-VL-3B-Instruct
--train_type lora
--freeze_aligner false
--freeze_vit false
--lora_rank 16
--lora_alpha 64
--dataset /workspace/codes/ms-swift/data/GRPO/train.jsonl
--val_dataset /workspace/codes/ms-swift/data/GRPO/val.jsonl
--acc_strategy seq
--torch_dtype bfloat16
--num_train_epochs 5
--max_length 2048
--per_device_train_batch_size 2
--per_device_eval_batch_size 2
--num_generations 4
--gradient_accumulation_steps 1
--eval_steps 2000
--save_steps 2000
--learning_rate 1e-6
--save_total_limit 50
--logging_steps 5
--output_dir output
--warmup_ratio 0.05
--dataloader_num_workers 8
--max_completion_length 1024
--external_plugins examples/train/grpo/plugin/plugin.py
--reward_funcs custom_acc custom_format
--temperature 1.0
--top_p 1.0
--top_k 80
--log_completions true
--async_generate false
--move_model_batches 16
--offload_optimizer true
--offload_model true
--gc_collect_after_offload true
--sleep_level 1
--num_infer_workers 2
--deepspeed zero3_offload
--use_vllm true
--vllm_gpu_memory_utilization 0.5
--vllm_max_model_len 2048
--tensor_parallel_size 2

有没有可能让gpu利用率比较稳定的维持在七八十以上？麻烦大佬有空的话回复一下，十分感谢！

[hjh0119]

利用率0可能是在模型同步，显存够的话 可以改成zero3 去掉move_model_batches

[Stephen-K1]

改成zero3和去掉move_model_batches了，但是没明显变化，gpu利用率还是一直跳，平均利用率就30-40%，请问你们训练的时候gpu利用率是稳定的嘛？
另外我在sft的时候，gpu利用倒是稳定在70-80%左右，下面是sft的命令

CUDA_VISIBLE_DEVICES=3
MAX_PIXELS=200704
swift sft
--model /root/.cache/modelscope/hub/qwen/Qwen2-VL-2B-Instruct/
--dataset data/Qwen2-VL/train.jsonl
--val_dataset data/Qwen2-VL/val.jsonl
--acc_strategy seq
--train_type lora
--torch_dtype bfloat16
--num_train_epochs 10
--per_device_train_batch_size 2
--per_device_eval_batch_size 4
--learning_rate 1e-4
--lora_rank 16
--lora_alpha 64
--target_modules all-linear
--freeze_aligner false
--freeze_vit false
--gradient_accumulation_steps 16
--eval_steps 100
--save_steps 100
--save_total_limit 55
--logging_steps 5
--max_length 2048
--warmup_ratio 0.05
--output_dir output
--dataloader_num_workers 16

请问gpu利用率变低是因为用了deepspeed吗，还是别的什么原因呢？

利用率0可能是在模型同步，显存够的话 可以改成zero3 去掉move_model_batches

[Stephen-K1]

gpu利用率一直跳是因为上面这个吗？每个iteration都会打印上面这个信息，是的话要怎么修改训练参数呢？有大佬知道的话麻烦回复一下，感谢。

[hjh0119]

参数含义参考https://swift.readthedocs.io/zh-cn/latest/Instruction/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.html#grpo

[Stephen-K1]

改了下面这几个参数后，训练时间减少了一倍多，但是gpu利用率还是不算高，不折腾了-_-
--offload_optimizer false
--offload_model false
--gc_collect_after_offload false
--deepspeed zero3
--vllm_gpu_memory_utilization 0.7

同时去掉--sleep_level和--move_model_batches参数，这些应该都是显存和速度的trade-off参数，显存够的话可以调

[sms-s]

How did you modify it? Is there a template? How should I start training GRPO with LoRA?

改了下面这几个参数后，训练时间减少了一倍多，但是gpu利用率还是不算高，不折腾了-_- --offload_optimizer false --offload_model false --gc_collect_after_offload false --deepspeed zero3 --vllm_gpu_memory_utilization 0.7

同时去掉--sleep_level和--move_model_batches参数，这些应该都是显存和速度的trade-off参数，显存够的话可以调