LLM-CODE

轩辕系列模型的预训练和指令微调代码库，暨大语言模型-原理与工程实践书籍的示例代码

运行环境

Nvidia显卡驱动版本>=525.85.12
CUDA版本>=12.3
Python版本>=3.10.12
gcc版本>=11.4.0

python pip安装包版本如下：
argparse==1.4.0
deepspeed==0.12.5
datasets==2.15.0
transformers==4.36.0
sentencepiece==0.1.99

数据集下载

方式一：直接下载，数据集文件可通过如下huggingface链接下载
https://huggingface.co/datasets/Duxiaoman-DI/FinCorpus

方式二：python代码获取，代码如下

from datasets import load_dataset

dataset = load_dataset("Duxiaoman-DI/FinCorpus")

模型下载

方式一：直接下载，Llama-2-7b-hf模型文件可通过如下huggingface链接下载
https://huggingface.co/meta-llama/Llama-2-7b-hf

方式二：python代码获取，代码如下

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")

执行步骤

切换到你的宿主机工作目录
cd /your_host_workspace

clone项目代码
git clone https://github.com/Duxiaoman-DI/XuanYuan.git

切换到容器内项目根目录
cd XuanYuan/llm-code

删除缓存
sh clear_cache.sh

执行数据预处理
sh data_preprocess_run.sh

执行预训练
sh pretrain_run.sh

执行sft
sh sft_run.sh