训练出来模型，同样话predict出来结果不一致，大概是5次中有一次不一样

[pomeloking01]

No description provided.

[yumath]

@pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时，因为需要计算整个序列的联合概率，求得最优标记序列，神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。

[wjxdp]

@pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时，因为需要计算整个序列的联合概率，求得最优标记序列，神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。

我也遇到一样的问题，但是打印每层输出发现，bert_embedding每次输出都不一样，想不明白是哪里的问题，作者可以帮忙看看么？

[LHMdanchaofan]

@pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时，因为需要计算整个序列的联合概率，求得最优标记序列，神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。

我也遇到一样的问题，但是打印每层输出发现，bert_embedding每次输出都不一样，想不明白是哪里的问题，作者可以帮忙看看么？

当你预测时，应该把bert_embedding的is_training改为False，否则的话预测的时候会dropout。导致预测的结果有差异。

[FancyZhang96]

作者，您好，请问一下您的进行实验的配置是怎样的？用到的服务器的性能是怎样的，我用自己的电脑是直接内存爆炸的，可以请教一下吗？

[yumath]

@FancyZhang96 没有GPU吗？那你把BatchSize设置为1，看你的内存能不能带得动，这样还不行的话，你得想办法弄台设备。

[pomeloking01]

我训练完直接在tf-serving部署测试，不地方设置is_training，应该也不用设置的，

…

--------------------------------------------------------------------------------

------------------ 原始邮件 ------------------ 发件人: LHMdanchaofan <notifications@github.com> 发送时间: 2020-09-11 14:23:59 收件人:yumath/bertNER <bertner@noreply.github.com> 抄送:13917775119 <13917775119@139.com>,Mention <mention@noreply.github.com> 主题: Re: [yumath/bertNER] 训练出来模型，同样话predict出来结果不一致，大概是5次中有一次不一样 (#18) @pomeloking01 是有可能会出现这种情况。我的理解是基于条件随机场的参数计算输出结果时，因为需要计算整个序列的联合概率，求得最优标记序列，神经网络输出的轻微扰动有可能会导致这一结果出现一定的变化。 我也遇到一样的问题，但是打印每层输出发现，bert_embedding每次输出都不一样，想不明白是哪里的问题，作者可以帮忙看看么？ 当你预测时，应该把bert_embedding的is_training改为False，否则的话预测的时候会dropout。导致预测的结果有差异。 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[FancyZhang96]

@FancyZhang96 没有GPU吗？那你把BatchSize设置为1，看你的内存能不能带得动，这样还不行的话，你得想办法弄台设备。
您好，我基于自己的数据进行实验，引入Bert之后效果没有原来的BiLSTM-CRF效果好，请问能指教一下原因吗？

[yumath]

@FancyZhang96 你给的信息太少了，没法分析。

[FancyZhang96]

@FancyZhang96 你给的信息太少了，没法分析。

我之前用了自己的数据集在您提到的BiLSTM-CRF中训练F值达到了91%，参数都没有改，然后将数据集放在了这个引入BERT中模型中，也是参照您的参数，没有改动，F值只有88%。

[yumath]

@FancyZhang96 是领域数据吗？你如果有问题，请另开一个issue，避免与本issue主题无关的讨论影响别人，本issue close了