明医 (MING)：中文医疗问诊大模型

🌐项目简介

本项目开源了基于医疗指令微调的中文医疗问诊模型：明医 (MING)。目前模型的主要功能如下：

医疗问答：对医疗问题进行解答，对案例进行分析。	智能问诊：多轮问诊后给出诊断结果和建议。

📄相关论文

• MING-MOE技术报告

  MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts

• 基于多智能体交互的大语言模型多轮问诊自动评估框架

  Automatic Interactive Evaluation for Large Language Models with State Aware Patient Simulator

💫更新

• 🔥 [2024/04/14] 开源了基于Qwen1.5指令微调的专家混合模型MING-MOE

• [2024/03/14] 开源了基于Qwen1.5-1.8b指令微调的MING-1.8B

• [2023/07/25] 开源了基于bloomz-7b指令微调的MING-7B

• [2023/07/25] MedicalGPT-zh更名为MING

🔬开源模型

模型	基座	HuggingFace
MING-7B	bloomz-7b1-mt	🤗MING-7B
MING-1.8B	Qwen1.5-1.8B	🤗MING-1.8B
MING-MOE-1.8B	Qwen1.5-1.8B	🤗MING-MOE-1.8B
MING-MOE-4B	Qwen1.5-4B	🤗MING-MOE-4B
MING-MOE-7B	Qwen1.5-7B	🤗MING-MOE-7B
MING-MOE-14B	Qwen1.5-14B	🤗MING-MOE-14B

⚡快速开始

1. 配置环境（测试环境如下，具体版本可以根据实际需求配置）

   • python==3.9.16
   • pytorch==2.0.1+cu117
   • peft==0.9.0

2. 安装项目依赖

   git clone https://github.com/MediaBrain-SJTU/MING
   cd MING
   pip install -e .

3. 下载模型参数并运行（要求单卡显存 >= 15G）

   • MING-MOE

   CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.cli \
       --model_path {path_to_checkpoint} \ # 模型路径
       --model_base {path_to_base_model} \ # 基座模型路径
       --max-new-token 3072 # 输出最大长度

   • MING-1.8B

   CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.cli \
       --model_path {path_to_checkpoint} \ # 模型路径
       --max-new-token 2048 # 输出最大长度

   • MING-7B

   CUDA_VISIBLE_DEVICES=0 python -m fastchat.serve.cli \
       --model-path {path_to_checkpoint} \ # 模型路径
       --conv_template bloom \ # prompt
       --max-new-token 512 \ # 输出最大长度
       --beam-size 3 \ # beam search宽度
       --temperature 1.2 # 采样温度

   • 注：由于transformers库的问题，当beam-size > 1时，需要满足temperature>=1.0，否则会报错。

4. 命令行运行实例

   • 对话支持多轮

   • 对话中输入关键词 new chat 能够开启新一轮对话。

🧭测试样例

🪶贡献

本项目由上海交通大学未来媒体网络协同创新中心和上海人工智能实验室智慧医疗中心合作研发。模型数据系统主要由廖育生，江书洋，刘泓呈，孟昱同完成，指导教师为王钰副教授。

免责声明

预训练模型是基于大量语料库和算法模型进行训练的，并且在训练过程中可能存在偏差、错误和不完整的信息。因此，本项目提供的预训练模型仅供参考和研究使用，并不能保证其准确性和可靠性。使用预训练模型产生的结果可能存在误差和偏差，不能用于实际应用或决策。本项目不对使用预训练模型所产生的结果承担任何责任，也不对因使用预训练模型所产生的任何损失承担责任。使用者在使用预训练模型时应自行承担风险并进行自我验证。

引用

如果你使用了本项目的数据或者代码，请声明引用

@misc{liao2024mingmoe,
      title={MING-MOE: Enhancing Medical Multi-Task Learning in Large Language Models with Sparse Mixture of Low-Rank Adapter Experts}, 
      author={Yusheng Liao and Shuyang Jiang and Yu Wang and Yanfeng Wang},
      year={2024},
      eprint={2404.09027},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Star History