2400条数据,10个epoch,pre_seq_len=128,lora训练,为什么推理时显示trainable params: 0 || all params: 6243584000 || trainable%: 0.0000,是数据量不够吗,下边贴出训练参数

[zeze813]

CUDA_VISIBLE_DEVICES=2 python3 src/train_bash.py
--stage sft
--model_name_or_path $path_to_your_chatglm_model
--do_train
--dataset_dir $data_dir
--dataset ww
--finetuning_type lora
--output_dir $path_to_sft_checkpoint
--per_device_train_batch_size 2
--gradient_accumulation_steps 4
--lr_scheduler_type cosine
--logging_steps 10
--save_steps 500
--learning_rate $lr
--num_train_epochs $epoch
--pre_seq_len $pre_seq_len
--lora_rank 32
--fp16

[hiyouga]

推理本身就不应该有可训练参数