Report Drops by Screenshot Recognition | 截图识别上传

[AlvISsReimu]

一些已有的讨论：
要综合考虑识别效率、准确率。
是前端识别，上传掉落数据，还是前端压缩并上传图片，后端识别？用户可能担心流量问题。

[zemeng2015]

我的想法是用前端的比较图片相似度的库 然后分别截取掉落材料的图片 以及数字，然后再与保存好的材料图片比对。 这里有一个前端的图片识别库的例子：
http://rsmbl.github.io/Resemble.js/

[inkydragon]

可能的做法

1. 传统的模板匹配。如 SIFT ：inkydragon/AkDR: Arknights drops recognize. Using OpenCV with Python.
   模板匹配如果不切图计算量较大；切图则分辨率适应性下降，但速度/精度提升极大。算法能否放在前端取决于选择的算法，视情况可使用 opencv.js 或 WebGL 重新实现算法。
2. NN。
   • 基于 tf 预训练模型（见 ref PPT）
   • 基于 YOLOv3 Luke-lujunxian/aktools-backendProcessEngine
     NN 无需切图，但训练所需的数据量较大，且训练完毕的模型也比较大，不太可能放在前端。

ref：PPT - GMTC2018 《基于AI的网易UI自动化测试方案与实践》
这个是网易的自动化 UI 测试框架，算是个工业化的产品。其中就涉及图像匹配，包括静态的按钮以及动态的角色的位置识别，值得借鉴。

[SrC2O4]

可能的做法

1. 传统的模板匹配。如 SIFT ：inkydragon/AkDR: Arknights drops recognize. Using OpenCV with Python.
   模板匹配如果不切图计算量较大；切图则分辨率适应性下降，但速度/精度提升极大。算法能否放在前端取决于选择的算法，视情况可使用 opencv.js 或 WebGL 重新实现算法。

2. NN。

   • 基于 tf 预训练模型（见 ref PPT）
   • 基于 YOLOv3 Luke-lujunxian/aktools-backendProcessEngine
     NN 无需切图，但训练所需的数据量较大，且训练完毕的模型也比较大，不太可能放在前端。

ref：PPT - GMTC2018 《基于AI的网易UI自动化测试方案与实践》
这个是网易的自动化 UI 测试框架，算是个工业化的产品。其中就涉及图像匹配，包括静态的按钮以及动态的角色的位置识别，值得借鉴。

L佬和蟹佬在做了，应该用的方法是1（不确定
他们有在考虑用yolo（2）

[GalvinGao]

Proudly closing this issue as this feature has already been running smoothly for 9+ months (and why is this still left open lol).