-
Notifications
You must be signed in to change notification settings - Fork 232
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
[Feature] Add Qwen 1.8b config #252
Conversation
@xiaohangguo |
明白,我以为要全部支持,就批量改了。我保留alpaca系列的吧。这样简洁一点。 |
@xiaohangguo 请问是否方便测试一下 1.8b-chat 的微调、对话是否有问题? 如果没有问题可以一并提交,并以此拓展到 #254 来支持 72b-chat |
已经测试过了,微调和对话均没有问题。没有出现报错等异常,只是LORA微调效果比较差。 |
@xiaohangguo 好的,非常感谢! 如果是在专业领域效果较差,但在通用数据集(如alpaca)上效果没有异常的话,建议一并将 chat 的 configs commit 上来~ |
好的,交给我 |
又测试了一遍,训练-合并-推理,没什么问题,问答均正常。 |
@xiaohangguo 原因
其它LGTM! |
搞定! |
添加了Qwen 1.8b训练配置
测试其中Qwen1.8b Qlora code alpaca训练和合并推理
对话模板结果正常。虽然训练效果不太好。