Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feature] Add Qwen 1.8b config #252

Merged
merged 7 commits into from
Dec 4, 2023
Merged

Conversation

xiaohangguo
Copy link
Contributor

添加了Qwen 1.8b训练配置
测试其中Qwen1.8b Qlora code alpaca训练和合并推理
对话模板结果正常。虽然训练效果不太好。

@LZHgrla
Copy link
Collaborator

LZHgrla commented Dec 1, 2023

@xiaohangguo
非常感谢!
建议删掉一些不常用的数据集,仅保留 4-5 个示例 configs,以降低后期新增其它 feature 而维护 configs 的代价

@xiaohangguo
Copy link
Contributor Author

@xiaohangguo 非常感谢! 建议删掉一些不常用的数据集,仅保留 4-5 个示例 configs,以降低后期新增其它 feature 而维护 configs 的代价

明白,我以为要全部支持,就批量改了。我保留alpaca系列的吧。这样简洁一点。

@LZHgrla
Copy link
Collaborator

LZHgrla commented Dec 1, 2023

@xiaohangguo 请问是否方便测试一下 1.8b-chat 的微调、对话是否有问题?

如果没有问题可以一并提交,并以此拓展到 #254 来支持 72b-chat

@xiaohangguo
Copy link
Contributor Author

@xiaohangguo 请问是否方便测试一下 1.8b-chat 的微调、对话是否有问题?

如果没有问题可以一并提交,并以此拓展到 #254 来支持 72b-chat

已经测试过了,微调和对话均没有问题。没有出现报错等异常,只是LORA微调效果比较差。

@LZHgrla
Copy link
Collaborator

LZHgrla commented Dec 1, 2023

@xiaohangguo 好的,非常感谢! 如果是在专业领域效果较差,但在通用数据集(如alpaca)上效果没有异常的话,建议一并将 chat 的 configs commit 上来~

@xiaohangguo
Copy link
Contributor Author

@xiaohangguo 好的,非常感谢! 如果是在专业领域效果较差,但在通用数据集(如alpaca)上效果没有异常的话,建议一并将 chat 的 configs commit 上来~

好的,交给我

@xiaohangguo
Copy link
Contributor Author

xiaohangguo commented Dec 1, 2023

@xiaohangguo 好的,非常感谢! 如果是在专业领域效果较差,但在通用数据集(如alpaca)上效果没有异常的话,建议一并将 chat 的 configs commit 上来~

好的,交给我

又测试了一遍,训练-合并-推理,没什么问题,问答均正常。

@LZHgrla
Copy link
Collaborator

LZHgrla commented Dec 4, 2023

@xiaohangguo
建议将文件名中,所有的1.8修改为1_8

原因

  1. 避免在文件名中使用.
  2. 与模型名对齐

其它LGTM!

@xiaohangguo
Copy link
Contributor Author

@xiaohangguo 建议将文件名中,所有的1.8修改为1_8

原因

  1. 避免在文件名中使用.
  2. 与模型名对齐

其它LGTM!

搞定!

@LZHgrla LZHgrla merged commit ed27cc4 into InternLM:main Dec 4, 2023
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

None yet

2 participants