简介

基于Tensorflow + BroadCast Extension实时获取并识别iOS设备屏幕内容

系统要求

iOS11或以上版本

什么是BroadCast Upload Extension?

BroadCast Upload Extension在iOS10的时候推出，用于系统录屏的插件。

客户端流程

架构

如何使用

1. 编译真机运行

2. 点击界面中间录屏按钮

3. 在弹出的控制中心页面选择BroadCastExtension点击开始录屏

4. 打开微信，查看Xcode控制台输出，会实时打印当前界面的识别情况

使用效果

可以看到，在模型训练好的情况下，实时录屏的识别度是非常高的，配合服务端OCR可以获取任何出现在屏幕上的内容。