BUG：多GPU环境，docker v0.9.2 modelscope源启动bge-reranker-base和bge-reranker-large模型失败

[bigzws]

Web UI 显示bge-reranker-base或bge-reranker-large运行在GPU1上

但GPU1上无任何模型运行
使用dify验证，模型不能被调用。
但在单GPU环境，rerank模型运行在GPU0上，模型可以正常启动

[qinxuye]

调用报错有错误栈吗？

[bigzws]

[qinxuye]

xinference 日志的错误有没有

[bigzws]

docker
无任何报错

[qinxuye]

感觉 dify 的请求没有打过来？dify 的版本是最新的吗

[bigzws]

dify v0.5.8，在单卡上可以调用rerank模型。测试将qwen 1.5 运行在GPU1上，也可以被正常调用。只有bge-reranker存在这个问题

[bigzws]

找到原因了，启动rerank模型失败的机器，cuda版本12.2；启动rerank模型成功的机器cuda版本12.1

[qinxuye]

我们镜像应该是基于12.1 的。

[qinxuye]

先关闭，碰到问题可以再开。