JiOu-LLM: 基于llama2的奇偶数判别模型

环境配置

• Python >= 3.8
• Pytorch >= 2.2

其他依赖：tqdm（进度条）和gradio（webui）

pip install tqdm gradio

推理

WebUI模式：

运行 webui.py

命令行模式：

运行 inference.py

训练

运行 train.py

模型信息

model	Params	Accuracy(0-99999)
base.pt	13.66M	99.9997%

注：本模型将silu激活函数换成snakebeta激活函数以更好地捕获周期特征，其余部分与llama2保持一致。

TODO

本人对大语言模型了解不多，若有任何疑问或者优化方案，欢迎提issue或pr

• 训练精度更高的模型

参考

gpt-fast

transformers

nano-GPT

fish-speech

gpt-sovits

snake

HierSpeechpp