关于hook的问题

[wesley666]

作者，你好。请问预测时我要屏蔽图片的一部分，那么除了cutter要加入hook，classifier需要加入在哪个阶段，是训练模型时加入，预测时不加。还是训练不用加，预测时候加。还是都要加？

[williamfzc]

你好，训练+预测都加相对更稳妥。

https://blog.csdn.net/wsc106/article/details/107351675

[wesley666]

但是我研究了一下源代码，貌似训练模型时cutter没有对图片进行hook处理。但用cutter的结果pick_and_save的时候，保存的是原始图片，不是处理过的。这是不是意味着我要重写pick_and_save保存hook后的分类图片，然后直接训练？

[wesley666]

还有一个问题请教一下就是如果稳定过程有全黑或者全白的图片，预测分类容易出错，在cutter我可以用mse加以避免，在classify有没有好的方法进行区分？

[williamfzc]

但是我研究了一下源代码，貌似训练模型时cutter没有对图片进行hook处理。但用cutter的结果pick_and_save的时候，保存的是原始图片，不是处理过的。这是不是意味着我要重写pick_and_save保存hook后的分类图片，然后直接训练？

• cutter 的 hook 目的在于分出足够的/正确的阶段
• classifier 的 hook 目的在于训练

所以看你场景，如果cutter的存在只是为了给你截图，那classifier加就可以。

还有一个问题请教一下就是如果稳定过程有全黑或者全白的图片，预测分类容易出错，在cutter我可以用mse加以避免，在classify有没有好的方法进行区分？

svm or keras?

[wesley666]

不好意思，我表达错了😂，是训练模型的时候keras的classifier的train方法并没有apply hook但是svm的train是有的，所以我用keras训练的时候，加的hook并没有生效。所以就想cutter hook后直接用hook图片训练，或者我改一下keras，train的源码也可以。

用的是keras训练，可以看到黑色图片被归类到了阶段0

[williamfzc]

不好意思，我表达错了😂，是训练模型的时候keras的classifier的train方法并没有apply hook但是svm的train是有的，所以我用keras训练的时候，加的hook并没有生效。所以就想cutter hook后直接用hook图片训练，或者我改一下keras，train的源码也可以。

用的是keras训练，可以看到黑色图片被归类到了阶段0

预期是希望keras也能用hook，但为了实现方便直接用了官方的datagen。
如果能加，最好了。

mse的方案能分享下吗？是否可能默认加进cutter或classifier？

[wesley666]

cutter我看到你最开始为了识别模糊就加了mse，后面你去掉了mse，换成了pnsr，我感觉mse在实际情况更容易识别变化，就加回来了mse。分类器我暂时不会😂。

[wesley666]

由于目前预测时，闪屏的黑色图无法预测准确，所以我加了一段遍历结果进行模板比较的逻辑。
自带的contain_image返回我感觉可以加入mse，只有sim还是会误判黑白照片。

[wesley666]

作者，还有一个问题想请教的就是，既然keras执行train时无法发挥hook作用，那么这里的target_size就不起效，所以预测时我感觉就不应该加这个参数了，要不然就和模型不匹配了？

[williamfzc]

target_size 是起效的呀。target_size的能力印象里是直接由模型支持的。

[wesley666]

target_size 是起效的呀。target_size的能力印象里是直接由模型支持的。
好的，感谢。重新看了一下代码，这个确实是可以，是compress_rate不行。