Skip to content

民间版中文羊驼模型 v4.1

Compare
Choose a tag to compare
@ymcui ymcui released this 16 Jun 04:22
· 156 commits to main since this release
1736c0a

本版本以功能性更新为主,包括更新技术报告、添加C-Eval预测脚本、添加低资源模型转换脚本等。

📚 更新技术报告(arXiv-v2)

  • 更新模型构建的相关描述,添加Plus版本模型训练参数等
  • 生成效果评测部分替换为Alpaca-Plus-7B、Alpaca-Plus-13B、Alpaca-33B对比
  • 添加C-Eval完整评测结果,包括原版LLaMA以及本项目所有模型的结果与分析
  • 添加不同量化层级(2-bit ~ 8-bit, FP16)的效果对比和分析
  • 详细技术报告请查阅:https://arxiv.org/abs/2304.08177

🔬 添加C-Eval预测脚本(#601

🚀 添加低资源模型转换脚本(#608

  • 添加了新版低资源模型转换脚本merge_llama_with_chinese_lora_low_mem.py,大幅降低内存消耗
  • 7B需要15GB,13B需要18GB,33B需要22GB(不同机器可能略有不同)
  • 使用方法与旧脚本一致,后续将作为主要使用的模型合并脚本

其他更新和修复

  • 修复了预训练脚本中文件名的一处错误(#540),Contribution by @alkaideemo
  • 修复了模型保存问题,支持LoRA权重和tokenizer的保存 (#555
  • 在预训练和精调脚本中增加了检查项,避免后续模型合并出现异常问题(#595

For English release note, please refer to Discussion.