Skip to content

custom engine server不生效,并没有请求自定义LLM接口 #31

@chisifang

Description

@chisifang

配置了custom engine server、custom engine token、response format,没有配置customize prompt。在LLM服务端监控autodev插件的调用情况,测试结果如下:

  1. 部分功能不可用,LLM服务端没有收到请求。涉及功能:code complete、explain this、chat with this、chat with xxx(method),大多数功能都没有请求自定义模型接口
  2. 只有autocrud with this 和 generate living doc 这2个功能调用了自定义模型接口,从模型服务端可以看到请求数据和返回。

对照源码:CustomLLMProvider.kt。模型服务入参和返回都没有问题。

感觉插件中上述的几个功能并没有调用自定义模型地址,暂时还没有看到源码,先反馈一下,望回复,谢谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions