请问有添加早停机制的打算吗？

[catqaq]

您好，工具非常好用！
我们在使用过程中经常会遇到过拟合，请问有添加早停机制的打算吗？或者我们自己添加的话，从哪儿入手比较合适，比如你们提供的callback接口？

[airaria]

并没有早停机制。 一个替代方案：TrainingConfig中ckpt_frequency默认是1，也就是说每一轮都会存一个模型checkpoint；如果想利用这一点实现早停，可以： （1）callback中去evaluate模型的性能，并把指标写到某个txt文件中，比如eval_performance.txt； （2）用另外一个进程监视eval_performance.txt的内容，比如每n小时查看一次最新的模型效果，一旦达到你们设定的早停判据，就kill掉蒸馏的进程 在2022年02月10日 ***@***.***> 写道： 您好，工具非常好用！ 我们在使用过程中经常会遇到过拟合，请问有添加早停机制的打算吗？或者我们自己添加的话，从哪儿入手比较合适，比如你们提供的callback接口？ — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[catqaq]

@airaria 感谢回复，刚才我添加了eval_callback，但出现了一个奇怪的现象，有无eval_callback会对蒸馏结果产生影响，暂不清楚原因。

[catqaq]

@airaria 参考您提供的替代方案，我们利用callback实现了早停机制，感谢。不过并没有通过存取文件的方式来使用指标，而是魔改了save_and_callback等函数实现的。