部署后的问答效果和官网上的网页差别太大，原因是啥？

[shuracwf]

同样的知识库，在官网上的网页上回答的很好，在本地部署的却像在胡言乱语，是因为开源的模型太小了么？有啥办法不？

[shuracwf]

使用最新的V1.1.0全新部署的，ubuntu，显卡4090，内存256G

[fire717]

借楼同问，问题差不多就不开新issue了，我的问题是同样的文档同样的问题，本地部署查到的相关文档精度差一些，应该不是LLM的差异问题导致的，但是embed模型和rerank模型在readme写的都是SOTA了，和官网版本应该是一样的吧？
看了下下载的embed模型和rerank模型都在300MB左右，而hf上的模型在1G多，不知道是格式差异还是不是同一个模型。

[fire717]

借楼同问，问题差不多就不开新issue了，我的问题是同样的文档同样的问题，本地部署查到的相关文档精度差一些，应该不是LLM的差异问题导致的，但是embed模型和rerank模型在readme写的都是SOTA了，和官网版本应该是一样的吧？ 看了下下载的embed模型和rerank模型都在300MB左右，而hf上的模型在1G多，不知道是格式差异还是不是同一个模型。

最新版更新后本地测试，检索精度果然提升很多，估计是之前版本默认reranking没有使用到。

[liuyijiang1994]

借楼同问，问题差不多就不开新issue了，我的问题是同样的文档同样的问题，本地部署查到的相关文档精度差一些，应该不是LLM的差异问题导致的，但是embed模型和rerank模型在readme写的都是SOTA了，和官网版本应该是一样的吧？ 看了下下载的embed模型和rerank模型都在300MB左右，而hf上的模型在1G多，不知道是格式差异还是不是同一个模型。

最新版更新后本地测试，检索精度果然提升很多，估计是之前版本默认reranking没有使用到。

细说 大兄弟

[fire717]

借楼同问，问题差不多就不开新issue了，我的问题是同样的文档同样的问题，本地部署查到的相关文档精度差一些，应该不是LLM的差异问题导致的，但是embed模型和rerank模型在readme写的都是SOTA了，和官网版本应该是一样的吧？ 看了下下载的embed模型和rerank模型都在300MB左右，而hf上的模型在1G多，不知道是格式差异还是不是同一个模型。

最新版更新后本地测试，检索精度果然提升很多，估计是之前版本默认reranking没有使用到。

细说 大兄弟

你直接使用新版的就行了，最近一次更新官方说的“v1.1.1紧急更新1. 将rerank功能默认设置为打开，v1.1.0版本以前的代码是默认关闭的，会影响检索问答效果”

[rookiexiao123]

我使用v1.1.1的版本，部署后的问答效果和官网上的网页还是有差距，机器我是A100，只能换模型才能成功部署，是因为换了模型吗

[fredfany]

同问，使用v1.1.1，使用A800的卡，Qwen-7B模型，部署效果与官网有明显差距，请官方给出建议，如何能提升部署后的问答效果

[yangy996]

同问，使用v1.1.1，使用A800的卡，Qwen-7B模型，部署效果与官网有明显差距，请官方给出建议，如何能提升部署后的问答效果

请问下，你的A800卡部署有这个错误吗？到这一步就不往下走了

[MichaelIT]

官方客服回答：

商业版本可以用更好的模型+重点优化的文件解析+能针对用户数据优化定制模型，从而达到更高的准确率，同时有更稳定的性能，以及技术支持、备案号支持等。具体如下：
（1）商业版可以针对用户数据优化，定制模型
（2）开源版为7B模型，商业版为34B模型，模型效果更好
（3）从解析切分逻辑文件方式不同，商业版本更好。针对pdf和markdown（表格部分）做更精细的优化。
（5）商业版支持知识10万以上个文件。
（6）并发数更多，性能更好，更稳定。
（7）有备案号支持，技术支持等

[MichaelIT]

官方客服回答：

商业版本可以用更好的模型+重点优化的文件解析+能针对用户数据优化定制模型，从而达到更高的准确率，同时有更稳定的性能，以及技术支持、备案号支持等。具体如下： （1）商业版可以针对用户数据优化，定制模型 （2）开源版为7B模型，商业版为34B模型，模型效果更好 （3）从解析切分逻辑文件方式不同，商业版本更好。针对pdf和markdown（表格部分）做更精细的优化。 （5）商业版支持知识10万以上个文件。 （6）并发数更多，性能更好，更稳定。 （7）有备案号支持，技术支持等

简单说，白嫖就不要想太好的效果了