腾讯格式的权重转换成HF格式的转换脚本在哪里？

[riverzhou]

No description provided.

[jamestch]

同样的问题

[zhangyebai]

TencentPretain
scripts

[jamestch]

TencentPretain scripts

这个仓库下面，似乎没找到llama tencentpretrain格式到huggingface格式的转换脚本

[zhangyebai]

1. Tencent -> Llama

convert_tencentpretrain_to_llama.py

2. Llama -> Huggingface

convert_llama_weights_to_hf.py
我理解的路径应该是这样

[riverzhou]

转llama的时候，layer_num参数怎么设置，是用默认（12层）么？

[ydli-ai]

直接转到hf的脚本还在测试中，近期会上传

…

________________________________ 发件人: 张夜白 ***@***.***> 发送时间: Tuesday, April 25, 2023 2:35:01 PM 收件人: ydli-ai/Chinese-ChatLLaMA ***@***.***> 抄送: Subscribed ***@***.***> 主题: Re: [ydli-ai/Chinese-ChatLLaMA] 腾讯格式的权重转换成HF格式的转换脚本在哪里？ (Issue #44) 1. Tencent -> Llama [image]<https://user-images.githubusercontent.com/24763457/234192949-8b9ee692-7206-4dfc-ab8e-43a77f48d2e1.png> [convert_tencentpretrain_to_llama.py](https://github.com/Tencent/TencentPretrain/blob/main/scripts/convert_tencentpretrain_to_llama.py) 1. Llama -> Huggingface [image]<https://user-images.githubusercontent.com/24763457/234193393-638769c1-2059-4c51-9f6d-cad04e8ab33e.png> [convert_llama_weights_to_hf.py ](https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py) 我理解的路径应该是这样 ― Reply to this email directly, view it on GitHub<#44 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AE3SPV3DIZTSYUVCLG4LR33XC5WBLANCNFSM6AAAAAAXJQW52E>. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[zhangyebai]

期待作者给出 ChatLLaMA-zh-7B 到 ChatLLaMA-zh-7B-hf的转换脚本,在线等

[riverzhou]

期待作者给出 ChatLLaMA-zh-7B 到 ChatLLaMA-zh-7B-hf的转换脚本,在线等

其实能直接转llama我很合用，因为我是用llama.cpp

[riverzhou]

转llama的时候，layer_num参数怎么设置，是用默认（12层）么？

自己回答自己的问题。7B的模型是32层，13B的模型是40层。
如有错误请大家指正。

[Minami-su]

转成huggingface后效果咋样，会有损失吗？

[hepj987]

@riverzhou
请问llama.cpp你是如何运行的？

[riverzhou]

@riverzhou 请问llama.cpp你是如何运行的？

先用 TencentPretrain 项目里的转换脚本把作者的腾讯格式的数据转成原始的 llama 的格式（layer_num参数：7B的模型是32层，13B的模型是40层。），
再用 llama.cpp 项目里 转换脚本转成 ggml 的格式，
最后，可选做量化，Q4 Q5 Q8都可以。