-
Notifications
You must be signed in to change notification settings - Fork 91
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
tuple_filter.py中的疑问 #18
Comments
font{
line-height: 1.6;
}
ul,ol{
padding-left: 20px;
list-style-position: inside;
}
是这样,因为之前这一步不仅有bert的相似度特征,还有一些字面匹配的,后来没什么用就放弃了,但是数据里还是保留了这些特征的,9就是bert特征的索引,[0][1]是因为我调的那个bert包得到的数据就得这样取索引。
在2019年12月11日 09:14,JaonLiu<notifications@github.com> 写道:
在tuple_filter.py 中的GetData_train函数有如下代码:
for t in candidate_tuples:
features = candidate_tuples[t]
if len(gold_tuple) == len(set(gold_tuple).intersection(set(t))):
X.append([features[9][0][1]])
Y.append([1])
else:
prop = random.random()
if prop<0.5:
X.append([features[9][0][1]])
Y.append([0])
为啥是取[features[9][0][1]] ? 请问下其背后的思考逻辑。谢谢!
—You are receiving this because you are subscribed to this thread.Reply to this email directly, view it on GitHub, or unsubscribe.
|
@MrRace 请问楼主你在运行entity_filter.py之后实体的召回率能达到多少? |
@duterscmy 那现在上传的这个版本其实仅利用到了BERT的特征? |
@MrRace 我是直接使用的 |
|
那就直接append(x[-1])好了
不能保证吧 就是个大概的负例比例
…---原始邮件---
发件人: "JaonLiu"<notifications@github.com>
发送时间: 2019年12月11日(周三) 下午3:28
收件人: "duterscmy/ccks2019-ckbqa-4th-codes"<ccks2019-ckbqa-4th-codes@noreply.github.com>;
抄送: "Mention"<mention@noreply.github.com>;"Caomingyu"<1054527636@qq.com>;
主题: Re: [duterscmy/ccks2019-ckbqa-4th-codes] tuple_filter.py中的疑问 (#18)
@duterscmy 那现在上传的这个版本其实仅利用到了BERT的特征?
现在上传的这个版本features数据如下:
(1)这种情况,怎么写 X.append()?
(2)在生成负样本时,这种随机数生成的方式为啥能够确保0.05的负样本比例?
谢谢~
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
@duterscmy 那在 |
@ZainZhou 你的呢? |
第二个逻辑回归模型只用bert特征吗,不加上之前的词频、长度、字重合度等特征吗?我理解的Bert返回的特征是一个数即正例的概率吧? |
@MrRace 我跑的tuple_filter的比你这个低很多,因为我前面实体抽取的召回率就偏低,所以才问你entity_filter.py你可以召回多少实体 |
|
@MrRace 那其实差不了多少,但不知道为什么后面tuple_filter的差20个点,我再研究研究吧 |
对 没有加 只用bert效果就很好
…---原始邮件---
发件人: "zwj"<notifications@github.com>
发送时间: 2019年12月11日(周三) 下午5:28
收件人: "duterscmy/ccks2019-ckbqa-4th-codes"<ccks2019-ckbqa-4th-codes@noreply.github.com>;
抄送: "Mention"<mention@noreply.github.com>;"Caomingyu"<1054527636@qq.com>;
主题: Re: [duterscmy/ccks2019-ckbqa-4th-codes] tuple_filter.py中的疑问 (#18)
第二个逻辑回归模型只用bert特征吗,不加上之前的词频、长度、字重合度等特征吗?我理解的Bert返回的特征是一个数即正例的概率吧?
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
@duterscmy 我运行
这个结果是偏低吗?你的大概多少? |
是偏低啊,我这看单实体0.92,筛到5个人0.902。。可能是代码版本传错了但最近两天没空闲gpu用等我确定了一个对的版本传上来
…---原始邮件---
发件人: "JaonLiu"<notifications@github.com>
发送时间: 2019年12月12日(周四) 上午8:57
收件人: "duterscmy/ccks2019-ckbqa-4th-codes"<ccks2019-ckbqa-4th-codes@noreply.github.com>;
抄送: "Mention"<mention@noreply.github.com>;"Caomingyu"<1054527636@qq.com>;
主题: Re: [duterscmy/ccks2019-ckbqa-4th-codes] tuple_filter.py中的疑问 (#18)
@duterscmy 我运行tuple_filter.py的结果:
单实体问题中,候选答案可召回的的比例为:0.730 候选答案能覆盖标准查询路径的比例为:0.461 单实体问题中,候选答案可召回的的比例为:0.772 候选答案能覆盖标准查询路径的比例为:0.638 在验证集上逻辑回归筛选后top10 召回率为0.72 单实体问题中,候选答案可召回的的比例为:0.731 候选答案能覆盖标准查询路径的比例为:0.560
这个结果是偏低吗?你的大概多少?
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
我理解错了,这是候选答案的数据啊,我今晚把流程重新跑一下告诉你
…---原始邮件---
发件人: "JaonLiu"<notifications@github.com>
发送时间: 2019年12月12日(周四) 上午8:57
收件人: "duterscmy/ccks2019-ckbqa-4th-codes"<ccks2019-ckbqa-4th-codes@noreply.github.com>;
抄送: "Mention"<mention@noreply.github.com>;"Caomingyu"<1054527636@qq.com>;
主题: Re: [duterscmy/ccks2019-ckbqa-4th-codes] tuple_filter.py中的疑问 (#18)
@duterscmy 我运行tuple_filter.py的结果:
单实体问题中,候选答案可召回的的比例为:0.730 候选答案能覆盖标准查询路径的比例为:0.461 单实体问题中,候选答案可召回的的比例为:0.772 候选答案能覆盖标准查询路径的比例为:0.638 在验证集上逻辑回归筛选后top10 召回率为0.72 单实体问题中,候选答案可召回的的比例为:0.731 候选答案能覆盖标准查询路径的比例为:0.560
这个结果是偏低吗?你的大概多少?
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
我运行tuple_filter.py的结果和上面相近,是不是参数或模型哪里有变化?我最近在做相关的工作,希望能够复现你提交的结果 |
朋友,问题解决了吗,我运行的结果也差不多:还望指教
|
为啥跑出来全是0,是哪里出问题了吗? |
这个features应该怎么写啊?解决了吗? |
请问这个features的问题解决了吗?写成new_features = features的效果好差。 |
在
tuple_filter.py
中的GetData_train
函数有如下代码:为啥是取
[features[9][0][1]]
? 请问下其背后的思考逻辑。谢谢!The text was updated successfully, but these errors were encountered: