About this repo

这个目录是我在B站、抖音上发布视频里的一个demo。

通过我们跟目录下一样的手写的模型来实现一个科幻小说微调原理。教学作用，代码不适用于生产环境。

准备数据集

准备数据集的部分需要预处理，并存放在 /data 子文件夹下。

• 训练数据集 tools_download工具代码中的第18～35行。先把zip包解压，然后合并所有的小说txt文件到单一的txt文件当中。

• 微调数据集 tools_download工具代码中的第6～14行。从huggingface上下载一个带微调指令的数据集。