Skip to content

民间版中文羊驼模型 v4.2

Compare
Choose a tag to compare
@ymcui ymcui released this 05 Jul 09:30
· 49 commits to main since this release
6e007e0

本版本以功能性更新为主,包括新增8K上下文支持、支持Gradio Demo流式输出、支持仿OpenAI API形式调用等。

🔬 新增8K+上下文支持

新增8K+上下文支持方法,无需对模型权重本身做出修改

  • transformers:提出自适应RoPE,动态适配4K~8K+上下文,已集成在 gradio_demo.py, inference_hf.py等(#705
  • llama.cpp:可支持8K+上下文,相关修改步骤详见讨论区(#696

🚀 支持Gradio Demo流式输出(#630

🤖 支持仿OpenAI API形式调用(#530

其他更新、修复、新闻

  • 修复了训练脚本中training steps的问题(#669
  • 修复了build_dataset.pyrun_clm_sft_with_peft.py中的一处命名错误,优化log输出(#691#692
  • 修复了低资源模型合并脚本中vocab_size更新问题(#703
  • llama.cpp已支持仿OpenAI API部署,还可以部署一个简单的web demo,感兴趣的可访问llama.cpp#server

For English release note, please refer to Discussion.