Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何自定义ollama的服务器地址和端口? #1357

Open
srszzw opened this issue Apr 23, 2024 · 11 comments
Open

如何自定义ollama的服务器地址和端口? #1357

srszzw opened this issue Apr 23, 2024 · 11 comments
Labels
bug Something isn't working

Comments

@srszzw
Copy link

srszzw commented Apr 23, 2024

现在的项目好像是写死的http://localhost:11434

@srszzw srszzw added the bug Something isn't working label Apr 23, 2024
@RexWzh
Copy link

RexWzh commented Apr 23, 2024

渠道 API 地址,写上你实际的 URL(试试更新到最新版)

image

@liuhetian
Copy link

ollama中,
ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

@RexWzh
Copy link

RexWzh commented Apr 24, 2024

建议用 docker 部署,不然模型下载路径,GPU 显卡设置,以及启动端口,这些都不能灵活控制。

btw, 这个问题应该去 ollama 项目问,而不是在这里吧。。。

@anjia1991
Copy link

渠道 API 地址,写上你实际的 URL(试试更新到最新版)

image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

@xx025
Copy link

xx025 commented Apr 25, 2024

渠道 API 地址,写上你实际的 URL(试试更新到最新版)
image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

Rex 使用的是 https://github.com/MartialBE/one-api 这个二次开发的版本把,我使用了 链接这个可以接入

@srszzw
Copy link
Author

srszzw commented Apr 25, 2024

建议用 docker 部署,不然模型下载路径,GPU 显卡设置,以及启动端口,这些都不能灵活控制。

btw, 这个问题应该去 ollama 项目问,而不是在这里吧。。。

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

@srszzw
Copy link
Author

srszzw commented Apr 25, 2024

ollama中, ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

@RexWzh
Copy link

RexWzh commented Apr 25, 2024

ollama中, ollama serve之前export OLLAMA_HOST=0.0.0.0:6006可以修改端口,如果使用systemctl,查看/etc/systemd/system/ollama.service文件,

[Service]
Environment="OLLAMA_HOST=0.0.0.0:6006"

可以参考(ollama常见问题解答)[https://github.com/ollama/ollama/blob/main/docs/faq.md]

我问的是ollama已经安装发布好了,one-api中配置ollama的时候,可不可以指定ollama的地址和端口,不是ollama部署问题

??? 这个问题第一个留言已经回复了啊,“建议更新到新版” 在新建渠道 那里填上,截图都贴给你了。

麻烦认真翻下渠道界面,或者贴截图,你用哪个版本不能改 api 链接的?

@RexWzh
Copy link

RexWzh commented Apr 25, 2024

@srszzw 问得模棱两可的,所以留言给了两种回答,不知道你是 OneAPI 找不到填写入口,还是 ollama 找不到修改入口。

建议表述清楚点,按 Issue 自带模板认真填一下:节约别人时间也是节约你的时间

@anjia1991
Copy link

渠道 API 地址,写上你实际的 URL(试试更新到最新版)
image

v0.6.6-alpha.5 没有看到渠道 API 地址,另外要填API Key.

Rex 使用的是 https://github.com/MartialBE/one-api 这个二次开发的版本把,我使用了 链接这个可以接入

@RexWzh 我尝试了v0.65和v0.6.6-alpha.6,的one-api都没有填写入口。引用里指出的二次开发版本是有的,所以麻烦下次带上新版本的链接,谢谢帮助!

@TroiiF
Copy link

TroiiF commented May 6, 2024

官方镜像也可以通过设置代理解决,参考:
image
在oneapi镜像中调本地部署的ollama

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

6 participants