Skip to content

[Bug] vllm_api_general_chat.py配置中URL末尾未加/导致访问地址不对 #311

@xuejiakn

Description

@xuejiakn

操作系统及版本

ubuntu 22.04

安装工具的python环境

docker容器中的python环境

python版本

3.10

AISBench工具版本

v3.1-20260330-master_aarch64_py_310

AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets synthetic_gen --model perf

模型配置文件或自定义配置文件内容

模型推理服务访问URL为http://10.5.x.x:xx/memeber1/deepseek_v4/v1chat/completions
vllm_api_general_chat.py配置中URL为http://10.5.x.x:xx/memeber1/deepseek_v4
会导致模型的输出结果异常,output token全都为0,测试运行时间也是异常(以下指标都是有问题)

查看输出结果的json,prediction字段是空,未接收到模型的返回信息

只有URL配置成http://10.5.x.x:xx/memeber1/deepseek_v4/,才测试正常

预期行为

vllm_api_general_chat.py配置中URL末尾未加/也能正常测试

实际行为

vllm_api_general_chat.py配置中URL末尾未加/导致访问地址不对,例如URL配置为http://10.5.x.x:xx/memeber1/deepseek_v4,实际去访问模型的时候地址会变为http://10.5.x.x:xx/memeber1/v1/chat/completions

前置检查

  • 我已读懂主页文档的快速入门,无法解决问题
  • 我已检索过FAQ,无重复问题
  • 我已搜索过现有Issue,无重复问题
  • 我已更新到最新版本,问题仍存在

Metadata

Metadata

Labels

bugSomething isn't workingcontent_check_passedissue content check passed

Type

No type
No fields configured for issues without a type.

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions