建议

[lucasjinreal]

建议用7B直接用原始做差。13b原始下载一个，转hf再来一个，下载CaMA差值再来一个，存储空间扛不住，时间成本也很高。参照OopenBuddy的13b模型，只用7b的做差分发速度可以提高很多

[zxlzr]

您的建议非常好，我们会在未来探索一下优化存储的方式，目前模型没用7b底座训过所以非常抱歉目前无法提供7b的差值，我们会在未来考虑提供7b的差值。

[lucasjinreal]

你还真别说，我32GB的macbookpro还真的没有办法同时加载两个13B，感觉是刚需了

[lucasjinreal]

@zxlzr 目前无法在32GB上转模型呢，能提供一个低端机适配版本吗

[zxlzr]

您好，非常抱歉目前我们暂时没有7B的版本。

[lucasjinreal]

那就应该不是 completed ，很多人可能32G显存都没有，大部分都没有办法跑呢

[zxlzr]

您好我们已上传fp16 diff, https://huggingface.co/zjunlp/zhixi-13b-diff-fp16， 7b模型因算力有限还在训练中，非常感谢您的建议

[benyVip]

问下：这里要用多大的内存才能合并出版本呀？

[zxlzr]

您好，把LLaMA-13B与ZhiXi-13B-Diff合并需要约100GB的内存，显存没有要求（由于大模型合并策略导致的内存开销；为了方便使用，我们提供了fp16权重https://huggingface.co/zjunlp/zhixi-13b-diff-fp16 ，fp16的权重需要的内存较少，但性能会稍有影响），我们正计划优化合并方式降低内存。

[lucasjinreal]

@zxlzr 你好，事实上，你们直接基于openllama 13b训练就没有这么多事儿乐。
下一个版本可以考虑，彻底开源的版本。

[zxlzr]

@zxlzr 你好，事实上，你们直接基于openllama 13b训练就没有这么多事儿乐。 下一个版本可以考虑，彻底开源的版本。

谢谢您的建议

[benyVip]

你好，我试了下128g内存还是oom掉了

[MikeDean2367]

你好，我试了下128g内存还是oom掉了

您好，如果您指的是合并得到基础模型的话，如果您下载的是fp16格式的diff，根据我们的实验仅需 50G 的内存即可完成转换；如果您下载的是fp32格式的diff，需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题，下面是我的实验命令（其中LLaMA13B的huggingface版本的权重事先保存在./converted文件夹中）：

python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16
python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True

[benyVip]

你好，我试了下128g内存还是oom掉了

您好，如果您指的是合并得到基础模型的话，如果您下载的是fp16格式的diff，根据我们的实验仅需 50G 的内存即可完成转换；如果您下载的是fp32格式的diff，需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题，下面是我的实验命令（其中LLaMA13B的huggingface版本的权重事先保存在./converted文件夹中）：

python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16
python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True

你好，如果是fp32，是什么命令呀

[MikeDean2367]

你好，我试了下128g内存还是oom掉了

您好，如果您指的是合并得到基础模型的话，如果您下载的是fp16格式的diff，根据我们的实验仅需 50G 的内存即可完成转换；如果您下载的是fp32格式的diff，需要 100GB 的内存即可完成转换。我猜测您可能是某些步骤出现了问题，下面是我的实验命令（其中LLaMA13B的huggingface版本的权重事先保存在./converted文件夹中）：

python tools/download.py --download_path ./zhixi-diff-fp16 --only_base --fp16
python tools/weight_diff.py recover --path_raw ./converted --path_diff ./zhixi-diff-fp16 --path_tuned ./zhixi --is_fp16 True

你好，如果是fp32，是什么命令呀

参考此处。简单来说就是合并的时候，将--is_fp16参数不设置即可。

[benyVip]

那我确实是参考这个文档的，128G oom掉了

[MikeDean2367]

那我确实是参考这个文档的，128G oom掉了

您好，请检查一下您是否存在100GB的可用内存（可以截图检查一下是否有其他程序占用），我们是在ubuntu20.04上进行测试，fp32的格式转换约占用100GB的内存。此外您也可以检查一下环境是否与我们的一致，来排除由于其他package导致的问题。