glm4v在Merge lora后推理报错

[Wimen]

使用自建数据集对glm4v进行微调，完成后ckpt指定output/glm4v-9b-chat/vx-xxx/checkpoint-xxx可正常进行推理，若先进行export，再指定ckpt为output/glm4v-9b-chat/vx-xxx/checkpoint-xxx-merged时，模型推理会有以下错误：

[Wimen]

@Jintao-Huang 请问这个问题有复现到吗

[Jintao-Huang]

复现了

[Jintao-Huang]

fixed

[Wimen]

cool，已验证

[XuRui314]

可以麻烦请问微调glm4v大概的参数设置吗，我用自己的中文数据集微调后发现loss好像下降的不够，微调后模型推理的效果也不是很好

[chensiqin]

@XuRui314 请问你的微调参数设置是怎么样的？我这边也有和你类似的情况。全量微调（--sft_type full）的时候，梯度会激增，麻烦帮忙看看哈 @Jintao-Huang

[XuRui314]

@chensiqin 你好，我这边基本上都试了各种学习率、warmup rate、freeze vit、train vit、全参/lora/adapter，好像基本上都会出现这样的情况，这批数据在llava1.5上微调都是正常的，上面的图片的参数lr=2e-4，batch_size=256，只用lora调LLM，我数据量有1.3M

[chensiqin]

@Jintao-Huang 大佬，麻烦帮忙看下这个问题哈