关于选择最优样本(喂入网络)的问题

[zhangshyang]

你好，最近看了你的关于deep speaker的实验，学到了很多东西，但是现在有个地方有些疑问，请教一下。在deep_speaker实验报告里介绍到根据当前网络获取样本的网络输出，再与历史样本的网络输出组合从而挑选出最优样本，不知道我的理解对不？如果是这样的，那历史的输出和当前的输出所对应的网络参数是不同的吧，这样选择出来的样本有意义么？可靠么？

[Walleclipse]

是的，原论文中不是这么做的，原论文用大量的gpu在全局搜索了最优样本。但我不是这么做的，有两个原因。
1）原论文在全局索索最优样本的效率很低但是确实能找到最优样本。我没有那么多gpu资源（也就是没钱），所以没有按照原论文的做。
2） 最优样本只有在模型训练的后期才有用，前期需要随机找样本。而模型训练到了快收敛阶段，每个参数更新会很慢（梯度很小），所以在相邻几次迭代当中可以认为是模型参数变化很小。由于这个原因，从最近的几轮迭代中中选择样本还是有意义的，并且效果也会比随机选择好一点。
PS：如果你有大量的GPU没必要这么做，根据原论文的全局搜索法能得到更好的性能，我是没有很多GPU所以才想了这个方法。

[zhangshyang]

了解了，非常感谢!