gpt_server v0.4.2

gpt_server v0.4.2

What's Changed

1. 更新 lmdeploy==0.7.3 and vllm==0.8.4
2. 支持了 Spark-TTS 后端,支持流式输出 #30
3. 支持了SGLang推理后端
4. SGLang后端支持VL模型

gpt_server v0.3.9

gpt_server v0.3.9

What's Changed

1. update lmdeploy==0.7.2.post1 and transformers==4.50.0
2. 重构 工具调用以及解析
3. add vllm reasoning parse
4. 优化 tool_parser
5. 支持reasoning_parser
6. 支持 internvl 2.5
7. 支持asr模型 #30

gpt_server v0.3.7

gpt_server v0.3.7

What's Changed

1. 修复lmdeploy 后端 tool 解析的bug
2. 更新 vllm==0.7.3 lmdeploy=0.7.1

gpt_server v0.3.6

gpt_server v0.3.6

What's Changed

1. vllm 后端支持QVQ模型 #28
2. 更新 vllm==0.7.2 lmdeploy=0.7.0.post3 transformers==4.48.2 pynvml==12.0.0
3. 修复lmdepy 解析模型类型的bug
4. 支持文本审核模型
5. 支持edge-TTS
6. HF后端支持guided_decoding
7. 使用高性能json序列化库
8. 优化架构

gpt_server v0.3.5

gpt_server v0.3.5

What's Changed

1. 兼容v1/rerank 接口 #25 #6
2. 修复glm4的推理问题 #21
3. 更新infinity==0.0.73 vllm==0.6.5
4. 支持了 Phi-4
5. 优化了 Function Calling
6. 将pip 项目管理修改为了 uv

gpt_server v0.3.4

gpt_server v0.3.4

What's Changed

1. 实现了guided_decoding response_format #17
2. 修复了glm4模型推理异常 #21
3. 升级vllm==0.6.4.post1

gpt_server v0.3.3

gpt_server v0.3.3

What's Changed

1. 支持可视化配置
2. 修改配置文件架构
3. 升级lmdeploy=0.6.2
4. 开放 dtype 配置 #19
5. 优化架构

gpt_server v0.3.2

gpt_server v0.3.2

What's Changed

1. 支持了多模态模型 qwen VL #14 、minicpmv
2. 支持了 embedding 模型 puff
3. 修复了lmdeploy后端的bug
4. 开放 prefix_caching能力
5. 优化架构