Skip to content

Oneapi添加渠道本地大模型,显示Connection Error #2016

Description

@hamiduan

例行检查

  • [ x] 我已确认目前没有类似 issue
  • [ x] 我已完整查看过项目 README,以及项目文档
  • 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • [ x] 私有部署版本, 具体版本号: Chatglm3-6b-base,image: ghcr.io/labring/fastgpt:v4.8.5,image: ghcr.io/songquanpeng/one-api:latest

问题描述, 日志截图
系统:Windows11+WSL2+Ubuntu 22.04

大模型:版本Chatglm3-6b-base,WSL2上运行,api_server设置uvicorn.run(app, host='127.0.0.1', port=8000, workers=1), post可访问127.0.0.1:8000,且有响应。
image

Fastgpt:Docker运行,端口:9091:3000, - OPENAI_BASE_URL=http://172.20.0.1:3000/v1,- Network: http://172.21.0.7:3000/

Oneapi:Docker运行,端口:3001:3000,- Network: 172.21.0.1, 渠道部署 Base url: 127.0.0.1:8000,报错:
image

测试多ip端口皆无效:
image

Windows和WSL防火墙已down(启动wsl前,.wslconfig 文件已删除)
猜想:docker compose用桥接模式连接FastGPT,要如何将本地模型加入网络中?
求助大佬,感谢!

复现步骤
搭设并连接大模型,在docker上架设fastgpt+oneapi,在oneapi渠道上添加大模型base url。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions