[BUG] 1panel应用商店安装的ollama大模型应用工具，并没有调用GPU来进行计算服务

[LinuxLeader]

联系方式

No response

1Panel 版本

v1.10.13-lts

问题描述

1panel应用商店安装的ollama大模型应用工具，并没有调用GPU来进行计算服务，如何配置才能让ollama调用GPU?

重现步骤

直接在应用市场一键安装

期待的正确结果

让ollama调用GPU

相关日志输出

No response

附加信息

No response

[zhengkunwang223]

参考这个 https://github.com/valiantlynx/ollama-docker/blob/main/docker-compose-ollama-gpu.yaml
因为默认调用 GPU 服务如果不存在的话会报错 所以需要手动添加

deploy:
  resources:
    reservations:
      devices:
        - driver: nvidia
          count: 1
          capabilities: [gpu]

[wanghe-fit2cloud]

GPU 相关问题的讨论，统一汇总到该 issue #5805

[adaaaaaa]

手动添加

1/我今天也遇到了同样的问题，大模型在cpu上跑，我有独显的，archlinux主机有安装cuda,还需要安装其他吗？
2/添加到哪里，可以说的稍微具体一点吗？

[adaaaaaa]

因为默认调用 GPU 服务如果不存在的话会报错 所以需要手动添加

是改ollama的编排吗？还是修改哪里的参数？

[wanghe-fit2cloud]

因为默认调用 GPU 服务如果不存在的话会报错 所以需要手动添加

是改ollama的编排吗？还是修改哪里的参数？

[adaaaaaa]

@wanghe-fit2cloud
你好，我现在在应用商店里找到已安装的ollama,然后，找到参数-编辑-高级设置里面编辑compose文件之后报了这个错：
服务内部错误: yaml: line 12: mapping values are not allowed in this context

原来的文件是这样写的：
networks:
1panel-network:
external: true
services:
ollama:
container_name: ${CONTAINER_NAME}
deploy:
resources:
limits:
cpus: ${CPUS}
memory: ${MEMORY_LIMIT}
image: ollama/ollama:0.3.9
labels:
createdBy: Apps
networks:
- 1panel-network
ports:
- ${HOST_IP}:${PANEL_APP_PORT_HTTP}:11434
restart: unless-stopped
tty: true
volumes:
- ./data:/root/.ollama

我就是deploy到image中间的内容改成您图片中的内容，这样做哪里出错了？

[wanghe-fit2cloud]

在编辑容器时，已有的资源限制配置位于 deploy - resources 部分，因此不能直接粘贴我提供的配置，而需要将其集成到现有配置中，如图：

[adaaaaaa]

@wanghe-fit2cloud
你好，compose文件跟你的一样了，现在报这个错：
服务内部错误: yaml: line 13: did not find expected '-' indicator

[wanghe-fit2cloud]

@wanghe-fit2cloud 你好，compose文件跟你的一样了，现在报这个错： 服务内部错误: yaml: line 13: did not find expected '-' indicator

是 deploy 部分的 yaml 语法问题。

如果修改已有 compose 有难度，可以尝试按照上面提到的方法全新安装试一下。

[adaaaaaa]

@wanghe-fit2cloud
现在compose文件已经不报错了，而且，也能正常启动了，但是，用的本地模型的时候，还是没有启动ollama的gpu模式，手动docker run的话，是可以启用到gpu模式用到显卡计算的，哪里需要排查呢？