微调代码什么时候能够发布

[bltcn]

关心这个问题，谢谢

[shangzhensen]

+1

[jlokys]

+1支持

[gaojuntian]

+1

[LZHgrla]

推荐一手我们团队开发的微调工具库：XTuner
目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

[mockyd]

chatGLM2的微调代码适用不？很好奇都是同一个系列的模型，为什么微调代码不能共用呀？

[JamePeng]

魔搭那边支持了：https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/chatglm3_6b_32k/lora_ddp_ds

[mockyd]

魔搭那边支持了：https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts/chatglm3_6b_32k/lora_ddp_ds

想问下大佬，想用多轮对话数据训练chatglm3，应该怎么组织数据呀？魔搭这个文档我没看明白要怎么组织。。。

[bank010]

chatGLM2的微调代码适用不？很好奇都是同一个系列的模型，为什么微调代码不能共用呀？

输入格式不一样

[xxw1995]

https://github.com/xxw1995/chatglm3-finetune

[leoluopy]

好东西， mark 一下

[WangRongsheng]

LLaMA-Factory is all you need: https://github.com/hiyouga/LLaMA-Factory

[leoluopy]

@WangRongsheng does LLaMA-Factory support GLM2-6b and using Qlora SFT . in several steps ?

[leoluopy]

@LZHgrla how to use xtuner in command line to train my custom dataset , mode is QLora . any guide doc link ?

[LZHgrla]

@LZHgrla how to use xtuner in command line to train my custom dataset , mode is QLora . any guide doc link ?

Single-turn conversation Docs: zh_cn, en

Multi-turn conversation Docs: zh_cn, en

[WangRongsheng]

@WangRongsheng does LLaMA-Factory support GLM2-6b and using Qlora SFT . in several steps ?

Yes, it can do.

[leoluopy]

@LZHgrla following single turn conversation doc guide : i got this error: NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported.
any ideas ?? @LZHgrla
leo@leo-System-Product-Name:~/Downloads/mvp/work_dirs$ xtuner -v
10/29 20:58:18 - mmengine - INFO - 0.1.6

[LZHgrla]

@LZHgrla following single turn conversation doc guide : i got this error: NotImplementedError: Loading a dataset cached in a LocalFileSystem is not supported. any ideas ?? @LZHgrla leo@leo-System-Product-Name:~/Downloads/mvp/work_dirs$ xtuner -v 10/29 20:58:18 - mmengine - INFO - 0.1.6

You can try pip install -U datasets

If you have further questions, please post them on here

[leoluopy]

@LZHgrla thanks , and i've finally launched up my QLora fine tune .

[yang1111-gif]

marked

[zhouao0314]

marked

[zhangxinfang520]

推荐一手我们团队开发的微调工具库：XTuner 目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

使用xtuner train 微调chatglm3后 无法生成 adapter_config.json 导致qlora训练后的权重无法使用@LZHgrla

[huwen2117]

关心这个问题，谢谢

+1

[minghaochen]

https://github.com/minghaochen/chatglm3-base-tuning

chatglm3发布了，这次还发了base版本的模型，意味着我们可以基于这个base模型去自由地做SFT了。本项目实现了基于base模型的多轮对话SFT。

[yaoxingwei]

关心这个问题，谢谢

+1

[LZHgrla]

推荐一手我们团队开发的微调工具库：XTuner 目前已经支持了 ChatGLM3-6B-Base 的微调；同时，在数据集处理逻辑上，我们也进行了精心设计，方便拓展自定义数据。

一键启动

ChatGLM3-6B-Base, QLoRA, open assistant 数据集（显存占用 11GB 左右）

pip install xtuner==0.1.6
xtuner train chatglm3_6b_base_qlora_oasst1_e3

使用xtuner train 微调chatglm3后 无法生成 adapter_config.json 导致qlora训练后的权重无法使用@LZHgrla

我们这边测试并不会出现这个问题，训练后经过转换可以直接获得qlora的adapter权重

[lhtpluto]

微调代码什么时候能够发布？

[zhangch9]

微调代码已发布，请参考 ChatGLM3-6B 微调示例。