Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[FEATURE] 使用bge系列embedding时,SCORE_THRESHOLD取值0-1无法满足要求 #1594

Closed
WilliamChen-luckbob opened this issue Sep 26, 2023 · 4 comments
Labels
enhancement New feature or request

Comments

@WilliamChen-luckbob
Copy link
Contributor

功能描述 / Feature Description
实际测试bge系列的embedding(bge-large-en为例)时,直接使用原文进行匹配,对应的最相似匹配度从0.8开始,由于SCORE_THRESHOLD的限制,人工判定最精准的原文相似度大概会落到1.1总是被过滤掉,此处不应该限死0-1,否则框架很可能无法使用。

解决的问题 / Problem Solved
不能适用bge系列embedding

实现建议 / Implementation Suggestions
开放SCORE_THRESHOLD的限制

替代方案 / Alternative Solutions

其他信息 / Additional Information

@WilliamChen-luckbob WilliamChen-luckbob added the enhancement New feature or request label Sep 26, 2023
@zRzRzRzRzRzRzR
Copy link
Collaborator

收到反馈,我来测试一下

@zRzRzRzRzRzRzR
Copy link
Collaborator

因为其他模型都是在0-1 ,这个模型超出1 的部分我们无法有效复现,目前,代码先不做更改。您可以在
webui_pages/dialogue/dialogue.py 中将
score_threshold = st.slider("知识匹配分数阈值:", 0.0, 1.0, float(SCORE_THRESHOLD), 0.01)的1.0 进行修改为更大的值

@liwenju0
Copy link

因为其他模型都是在0-1 ,这个模型超出1 的部分我们无法有效复现,目前,代码先不做更改。您可以在 webui_pages/dialogue/dialogue.py 中将 score_threshold = st.slider("知识匹配分数阈值:", 0.0, 1.0, float(SCORE_THRESHOLD), 0.01)的1.0 进行修改为更大的值

按照这个修改后,界面上显示可调的阈值是大于1 了,但是真的设为1,进行召回时,显示unprocessable entity 的错误,请问是怎么回事呢

@qianbaidu1266
Copy link

人工判定最精准的原文相似度大概会落到1.1总是被过滤掉

---请教一下怎么看匹配度在1.1会被过滤掉呢,匹配阈值不应该是归一化之后的数字吗?为什么会有超过1的场景呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

4 participants