希望支持国产开源大模型

[weibo021]

Baichuan2-13B、Baichuan2-7B
ChatGLM2-6B
Qwen-14B、Qwen-7B

[Maplemx]

正在调研hugging face的统一接口方案，来支持本地部署的国产模型

[dafei2017]

ChatGLM2-6B

[whisky-12]

您好 ，请问现在最新的代码，支持国产模型吗，比如ChatGLM3

[Maplemx]

您好 ，请问现在最新的代码，支持国产模型吗，比如ChatGLM3

国产模型已经适配智谱GLM4和GLM3-turbo的线上版，以及百度文心4

如果想要自己本地启动模型，可以用其他开源项目转换成OpenAI格式API，再用OpenAI配置中提供的url修改指向本地的API来使用

[Maplemx]

请参考本案例：https://github.com/Maplemx/Agently/blob/main/playground/using_local_open_source_model_to_drive_agents.ipynb

[ZohnSun]

Ali:qwen?

[Maplemx]

Ali:qwen?

using OAIClient then same as Kimi following this instruction: http://agently.cn/features/model_request.html#kimi