添加切换模型功能，支持智谱AI在线模型 #1342

liunux4odoo · 2023-09-01T15:28:00Z

添加LLM模型切换功能，需要在server_config中设置可切换的模型
add tests for api.py/llm_model/*
修复被fastchat覆盖的标准输出
对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出
startup.py增加参数--api-worker，自动运行所有的线上API模型。使用-a (--all-webui), --all-api时默认开启该选项

- 支持智普AI线上模型 - startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a (--all-webui), --all-api`时默认开启该选项

liunux4odoo and others added 11 commits August 31, 2023 15:40

merge dev

886c0e4

添加LLM模型切换功能，需要在server_config中设置可切换的模型

aa484d1

add tests for api.py/llm_model/*

64f5a7c

- 支持模型切换

25447c5

- 支持智普AI线上模型 - startup.py增加参数`--api-worker`，自动运行所有的线上API模型。使用`-a (--all-webui), --all-api`时默认开启该选项

修复被fastchat覆盖的标准输出

671eb92

对fastchat日志进行更细致的控制，startup.py中增加-q(--quiet)开关，可以减少无用的fastchat日志输出

718e612

修正chatglm api的对话模板

26d1bfb

fix bug in config examples

4a9e005

Merge branch 'dev' into dev_change_model2

038a774

Update utils.py

91c5124

Update startup.py

d0160c5

liunux4odoo merged commit 6cb1bdf into dev Sep 1, 2023

liunux4odoo deleted the dev_change_model2 branch September 4, 2023 06:44

Provide feedback