如何设置lm_head为可训练?全量微调

[AIFFFENG]

如何添加lm_head到模型训练中？模型为qwen2VL模型

[Jintao-Huang]

全参数训练 默认是训练lm_head的

[AIFFFENG]

全参数训练 默认是训练lm_head的

奇怪，但是我在打印可接受梯度回传的参数时，并没有发现lm_head对应的参数。

[AIFFFENG]

全参数训练 默认是训练lm_head的

为什么会提这个问题？是因为我们尝试在qwen2VL中将坐标信息用额外的token比如<1000><1001>进行表示，但是训练起来模型完全无法收敛。而用原始的自然语言，模型具备快速收敛的能力，损失也很低。
目前我们是在ms-swift/swift/llm/model/model/qwen.py的520行添加的。
代码为：
def get_model_tokenizer_qwen2_vl(*args, **kwargs): from transformers import Qwen2VLForConditionalGeneration kwargs['automodel_class'] = kwargs['automodel_class'] or Qwen2VLForConditionalGeneration model, tokenizer = get_model_tokenizer_multimodal(*args, **kwargs) special_tokens = "<0>,<1>" special_token_list = special_tokens.split(',') # print(tokenizer) tokenizer.tokenizer.add_tokens(special_token_list) model.resize_token_embeddings(len(tokenizer.tokenizer))
不知道这样处理合不合适？（我们验证过，这样处理保存的权重确实能够将<1000>编码为对应的token，所以应该是正确的？所以就放在了embeeding和lm_head是否可训练上，打印参数发现embeeding层是可以训练的，但是没有发现lm_head

[Shiki-X]

请问最后问题解决了吗

[AIFFFENG]

请问最后问题解决了吗

还没解决，目前我查到qwen2vl的lm_head是和embeeding共享权重的，但是训练的效果还是很差