扩充词表后预训练的问题
#480
Replies: 1 comment
-
1.embed_tokens和lm_head是要经过训练的 |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
目前我计划在Alpaca2-7B的模型上扩充领域词表再做预训练,想请教一下两个问题:
按照我的理解,扩充词表后预训练时必须对embed_tokens和lm_head都进行训练,这个理解不知道是否正确;
目前我modules_to_save参数同时训练embed_tokens和lm_head时会OOM(使用的卡是一张32Gv100),但是只训其中一层时能够正常训练。将两层分开训练是否可行?比如第一次训练embed_tokens,将得到的lora模型合并后再在这个基础上训练lm_head?
Beta Was this translation helpful? Give feedback.
All reactions