华东师范大学，计算机科学与技术学院，智能教育研究院，小怪兽会微笑
BrainGPT1是一个工具调用多轮对话模型，与GPT-4o不同的是，模型通过调用多个工具模型实现了多模态的多轮对话。因此，模型具备有工具灵活更新，定制化使用的特点。模型主要具有以下能力：
-
通用问答：默认使用讯飞星火大模型提供的免费API（spark lite），也可以自行接入其他API或本地模型，项目中提供了接入本地ChatGLM3的API的demo。
-
画图能力：默认使用stable-diffusion-xl-base-1.0模型。
-
图片问答：默认使用InternLM-XComposer模型。
-
多媒体播放：默认代码查询并返回bilibili的搜索结果。
-
天气查询：默认使用代码查询并返回API的结果。
BrainGPT1的基座模型采用了ChatGLM3,经过全量微调获得，调用工具的实现方式与ChatGLM3类似。
项目前端使用streamlit框架，主要基于Streamlit Multimodal Chat Input和streamlit-chat 实现前端的多轮多模态对话效果。
尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于缺乏实际用户下的训练数据，且模型受概率随机性因素影响，无法保证输出内容的准确。 本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。 本项目遵循BSD 3-Clause License。
conda create --name braingpt python=3.8.8
conda activate braingpt
pip install -r requirements.txtcd Models
git clone https://huggingface.co/ALmonster/braingpt-1.0
git clone https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
git clone https://huggingface.co/internlm/internlm-xcomposer2-4khd-7b#默认启动在5999端口,启动Datas的文件访问服务器，用于前端显示图片
cd Datas
python simple_server.py
#默认启动在6000端口,启动braingpt
cd ../Functions/braingpt
bash brain_api.sh
#如果打算使用spark的免费api可以在web.py中配置，然后跳过这个6001步骤
#否则修改/Utils/brain_main.py的78-83行代码，把注释的解注释，把没注释的注释
#默认启动在6001端口
cd ../general_gpt
bash chatglm3_api.sh
#默认启动在6002端口,启动生成图片功能
cd ../generate_images
bash pic_api.sh
#默认启动在6003端口,启动基于图片对话功能
cd ../chat_images
bash intern_api.sh#启动前端
streamlit run web.py- braingpt占显存13.3G左右，stable-diffusion-xl-base-1.0占显存13.5G左右，InternLM-XComposer占显存48G左右。
- 如果没有启动stable-diffusion-xl-base-1.0，InternLM-XComposer，但启动了braingpt，除了画图和基于图片问答功能外不受影响
- 如果没有足够的显存启动internlm-xcomposer2-4khd-7b，可以考虑修改推理参数，或者换其他更小的模型。
有任何问题或反馈，欢迎联系作者小怪兽会微笑
Previously, an incident occurred where my application for the llama3 model on Hugging Face was not approved. As a result, this document does not have an English introduction, and future applications for the model file will not be open to regions outside of mainland China.