YmirAI

构建世界树公司的智能体项目。 尝试和各种虚拟角色进行语音聊天吧~

• 本项目代码完全开源，项目训练数据得到许可后可开源。

效果演示

角色	原声音	AI合成	AI合成2
逸仙	点击播放音频 嗯，对女性做出这样的举动，想必指挥官也做好承担后果的心理准备了吧？	点我播放音频 指挥官，需要帮忙吗。...呵，让我来帮指挥官大人缓解作战的疲劳吧...呵呵。	点我播放音频 呵呵，指挥官大人还是像个孩子一样调皮呢。呵呵呵，如果你喜欢的话，呵呵，我这里还有一个哦。
凯茜娅	点击播放音频 啊，忘了，伤员可不能喝酒，呵，那我替分析员都喝掉喽	点我播放音频 分析员，需要帮忙吗。...呵，让我来帮分析员缓解作战的疲劳吧...呵呵。	点我播放音频 分析员，想要喝几杯吗？呵呵，现在时间还早，我们可以在你为我买的吧台上度过整晚哦，嗯...？你说呢？
劳芬大小姐	点击播放音频 本小姐才不管什么危险不危险的，哼，反正不管你去哪儿，我都跟定了。	点我播放音频 喂！这可是我的分析员！你们！你们住手！分析员，我们走！	点我播放音频 分析员又跑去哪里了，我要去凯西娅房间找找，哼，要是真的在那的话，看我不揍死那个坏女人。

外链资源由七牛云提供

Demo演示

• 界面
• 交互

TODO

• 完成项目框架
• 完成数据库连接框架
• 语音合成接口
• 登录接口
• 展示角色接口
• 完成整个后端框架
• 完成前端框架
• 完成简单联调
• 添加虚拟角色
• 自定义虚拟角色
• 其他

部署文档

以下部署文档在ubuntu22.04 cuda12.0上通过测试，至少需要11G显存。如果需要良好体验，至少需要24GB现存。

• ubuntu/linux
• nvidia-cuda 12.0/12.2
• python 3.10
• RTX 2080ti 11GB or higher

一、前端

1. 部署nginx
2. 修改配置为服务器ip地址
3. 将dist资源放到nginx.conf指定的dist路径下 打开ip:端口号，可以看到前端页面已经部署好了。注意此时没有部署后端，因此还无法使用。

二、后端部署

后端由两部分组成。第一是需要启动一个2.1 大模型服务，第二是需要克隆并2.2 启动本项目。

2.1 大模型服务 这里以Qwen2-7B-Chat-GPTQ-Int4为例，也可以使用其他后端模型。只要符合Openai API的规范（用vllm启动的模型都可以）. 如果显存低于24GB，那么应该使用更小的模型。例如Qwen2-1.5B-Chat-GPTQ-Int4

1. 克隆一个大模型项目
2. 安装vllm依赖pip install vllm
3. 启动模型，以qwen7B为例

   python  -m vllm.entrypoints.openai.api_server  \
   --model /home/wuxiaowei/pretrining/fastchat/Qwen2-7B-Instruct-GPTQ-Int4  \
   --port 8216 --host 0.0.0.0  \
   --max-model-len 16000  --served-model-name Qwen2-7B-Instruct-GPTQ-Int4   \
   --tensor-parallel-size 1  --quantization gptq \
   --gpu-memory-utilization 0.7
   

2.2 启动本项目

1. 下载CosyVoice项目的模型CosyVoice-300M-Instruct 和CosyVoice-ttsfrd,【CosyVoice】
2. 将模型丢尽项目文件夹YmirAI/cosy_app/pretrained_models/.

• 例如CosyVoice-300M-xxx

  |- YmirAI/
      |- cosy_app/
          |- pretrained_models/
              |- CosyVoice-300M-Instruct *
              |- CosyVoice-ttsfrd *
          |- cosy_server.py
          |- ...
  

3. 安装依赖pip install -r r.txt
4. 启动项目nohup python cosy_server.py >log.log 2>&1 &
5. 查看日志tail -f log.log，Ctrl + C 退出

体验地址

• 如果需要体验地址，请加入我的微信群私信我。纯为爱发电，真顶不住黑客攻击和网络安全小伙伴压力测试。

赞助

• 请我喝咖啡，请注意填写id，将会出现在鸣谢列表

微信

鸣谢

• chatai-vue
• 用户：@zjbshk