Dify 上的 Ollama 不支持 Rerank 模型

[shenweiyan]

在 Dify Cloud 平台调用各大平台的大模型 API 一直都没发现这个问题，随着开始折腾本地化使用，才发现 Ollama 部署大模型虽然方便，但是 RAG 中 Dify 知识库混合检索，需要 Rerank 模型时，这一点上，Ollama 居然是不支持 Rerank 模型的。

Dify Cloud 的系统模型设置，在接入了阿里云百炼的通义千问 API Key 后，Rerank 模型会默认显示通义千问的 gte-rerank 和 gte-rerank-v2。

本地部署 Ollama + Dify，在 Dify 选择 Ollama 模型供应商，发现 Ollama 只支持 LLM 和 Text Embedding，不支持 Rerank 模型。

看到有提到使用 Xinference 平台来部署 Rerank 模型的，特意去看了一下 Xorbits Inference，发现的确是除了 LLM 和 Text Embedding 还支持 Rerank、Speech2text、TTS。

参考资料

• 安装 Dify 并集成 Ollama 和 Xinference
• add Ollama rerank model - langgenius/dify#10917

[eprince999]

bge系列的Reranker通过xinference加上了，比如bge-reranker-v2-m3等，但是运行时的结果和没加时并没有不同，这是为何？

[shenweiyan]

我也还没用 xinference 折腾过，期待你的后续~