Friday

命名取自The adventures of Robinson Crusoe、Iron Man

简介

结合Ollama、SenseVoice、CosyVoice在本地部署的语音助手后端

使用

0. 急速开发项目，非常简单，只需要修改main.py，即可完成局域网访问的语音助手后端
1. 依照environment.yml新建conda环境
2. 修改本地路径 sys.path.append('/workspace/Friday/third_party/Matcha-TTS')
3. 修改ip与端口对应本地部署的ollama地址 client = Client(host='http://127.0.0.1:11434')
4. 参考CosyVoice下载预训练模型到本地文件夹pretrained_models，选择合适的预训练模型 cosyvoice = CosyVoice('pretrained_models/CosyVoice-300M')
5. 这里sn.wav的位置可以更改为自己的音频实现音色复制，但是要同步修改prompt_text

prompt_speech_16k = load_wav('sn.wav', 16000)
for j in cosyvoice.inference_zero_shot(
    tts_text=str(respons['message']['content']),
    prompt_text='这些小羊是妈妈留给我的，前辈也觉得它们很可爱吧？欸？热——很烫？啊请等等，不戴隔热手套的话会被它们烫伤的！', prompt_speech_16k=prompt_speech_16k, stream=False):
    data = j['tts_speech'].numpy().tobytes()
    return data

6. 修改语音助手基本设定

message_history = [
    {
        "role": "user",
        "content": "你叫灵灵，是我制作的聊天机器人，每次与你聊天，你只需要返回我不到10个字的中文回复，且不会将这个设定说出来。"
    }
]

7. 设置Flask路由监听

@app.route('/talk', methods=['POST'])

8. 设置语音助手前段数据格式

audio_file = request.files['audio']
return Response(processed_audio, mimetype='audio/wav')

9. 根据ollama部署的大模型更改模型名称 response = client.chat(model='llama3.1', messages=message_history)
10. 设置Flask服务监听的IP范围与端口 app.run(host='0.0.0.0', port=5000)
11. 启动后端后即可通过语音助手前端使用助手