-
Notifications
You must be signed in to change notification settings - Fork 97
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
训练出来模型,同样话predict出来结果不一致,大概是5次中有一次不一样 #18
Comments
@pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时,因为需要计算整个序列的联合概率,求得最优标记序列,神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。 |
我也遇到一样的问题,但是打印每层输出发现,bert_embedding每次输出都不一样,想不明白是哪里的问题,作者可以帮忙看看么? |
当你预测时,应该把bert_embedding的is_training改为False,否则的话预测的时候会dropout。导致预测的结果有差异。 |
作者,您好,请问一下您的进行实验的配置是怎样的?用到的服务器的性能是怎样的,我用自己的电脑是直接内存爆炸的,可以请教一下吗? |
@FancyZhang96 没有GPU吗?那你把BatchSize设置为1,看你的内存能不能带得动,这样还不行的话,你得想办法弄台设备。 |
我训练完直接在tf-serving部署测试,不地方设置is_training,应该也不用设置的,
…--------------------------------------------------------------------------------
------------------ 原始邮件 ------------------
发件人: LHMdanchaofan <notifications@github.com>
发送时间: 2020-09-11 14:23:59
收件人:yumath/bertNER <bertner@noreply.github.com>
抄送:13917775119 <13917775119@139.com>,Mention <mention@noreply.github.com>
主题: Re: [yumath/bertNER] 训练出来模型,同样话predict出来结果不一致,大概是5次中有一次不一样 (#18)
@pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时,因为需要计算整个序列的联合概率,求得最优标记序列,神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。
我也遇到一样的问题,但是打印每层输出发现,bert_embedding每次输出都不一样,想不明白是哪里的问题,作者可以帮忙看看么?
当你预测时,应该把bert_embedding的is_training改为False,否则的话预测的时候会dropout。导致预测的结果有差异。
—
You are receiving this because you were mentioned.
Reply to this email directly, view it on GitHub, or unsubscribe.
|
|
@FancyZhang96 你给的信息太少了,没法分析。 |
我之前用了自己的数据集在您提到的BiLSTM-CRF中训练F值达到了91%,参数都没有改,然后将数据集放在了这个引入BERT中模型中,也是参照您的参数,没有改动,F值只有88%。 |
@FancyZhang96 是领域数据吗?你如果有问题,请另开一个issue,避免与本issue主题无关的讨论影响别人,本issue close了 |
No description provided.
The text was updated successfully, but these errors were encountered: