代码开源,大家放心使用,欢迎贡献! 注意:模型的license取决于模型提供方
- 2023/07/30:chinese-llama2项目正式启动:
- 初版代码提交
- 成员分工
chinese-llama2项目属于OpenNLP计划的第3个正式的开源项目系列,本项目旨在基于 OpenLLaMA2 训练框架 开发一个 SFT/RLHF 微调的中文版 LlaMA2 模型.
- 中文 LLaMA2 模型 SFT/RLHF 训练数据集开发
- 中文 LLaMA2 模型 SFT/RLHF 训练
- Datasets:阿樊提、Longhui等
- Pretrain:
- SFT:羡鱼、hope等
- RLHF:初七等
我们是谁?
我们是羡鱼智能【xianyu.ai/openllmai】,成员包括但不限于LLM打工人、高校学生、研究人员等,想在LLMs领域做点有意义的事!我们的愿景是:Open AI for everyone!
【xianyu.ai】这是个人知乎名”羡鱼智能“的由来,"羡鱼不如结网,咸鱼亦可翻身"。
【openllmai】OpenLLM是我们的群名,早前在知乎上写博客时有朋友说可以搞个群方便交流,于是便有了OpenLLM技术交流群;前几天想着几百号人了,要不正式升级成一个不太正式的组织吧,刚好群友最近有做实践的想法,于是便有了OpenLLMAI。(搞笑的是,周末一大早爬起来发现,咱们目前支撑不起GitHub的组织费用~)
本项目OpenNLP计划的一部分。欢迎大家积极参与项目的建设和讨论,一起变得更强!
加入方式:
- 直接从Git上参与项目建设:可以在前面列出的开发计划中选择自己感兴趣的部分进行开发,建议优先选择高优先级的任务。包括资料调研和算法开发等工作。
- 加入OpenLLM技术交流群:知识在讨论中发展,QQ群:740679327,建议由QQ群转微信群,日常在微信群。
- 加入OpenLLaMA开发群(仅限开发):有意参与开发的同学可以联系OpenLLM技术交流群的管理员。
1.克隆本项目
git clone https://github.com/OpenLLMAI/chinese-llama2.git
2.准备数据
3.运行示例