Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

识别期间双眼皮的问题 #447

Closed
lhj5426 opened this issue Jun 28, 2023 · 23 comments
Closed

识别期间双眼皮的问题 #447

lhj5426 opened this issue Jun 28, 2023 · 23 comments

Comments

@lhj5426
Copy link

lhj5426 commented Jun 28, 2023

image
是这样的开发者老哥

image
这 自动识别所有气泡 对气泡识别的好 但是
image
这种纯竖排文字无力
然后 manga-image-translatorrun
自然场景检测 对 这种 识别的还可以
但是 他会捎带手的 识别气泡
然后它识别气泡的时候 会戴上大量的无意义文字

image
一本漫画数百页 每页都有大量的无意义的文字被
manga-image-translatorrun
识别 在OCR之前就要手动去 删 很麻烦
就是用所谓的置信度检测也不行
所以 我想了办法是
用 1 气泡识别 先 把气泡识别出来
然后再用 2自然场景检测 来 单独检测 非气泡文字
然后问题 就来 是出现了双眼皮
所以能不能在批量识别的时候增加一个选项 或者设置
假如入 图片有被气泡识别 就跳过这张图片 去识别下一张
这样就 杜绝了双眼皮的问题 先气泡识别完 然后 跑 manga-image-translatorrun 它发现 图片 已经被识别过了就自动跳过跳过跳过
发现 纯文字图 没有被识别 就开始识别 这样的话就 不会出现双眼皮的情况了
要是只用 manga-image-translatorrun 识别 在 气泡页面 会产生大佬的无意义 框选 置信度检测不行 只能人工处理
几百也 少说也的半个小时 去删这些东西

而且OCR的话 双眼皮了OCR也会识别2遍 所以 必须清理干净
要是可以 实现 被识别就跳过 2个识别方式配合使用可以节省大量的删除 无意义 识别的时间

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

image
image

扫置信度的话 同样 也会带来大量的 重置置信度的问题

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

然后 当然 如果只是 双眼皮的问题可以通过
image

但最主要的问题是 manga-image-translatorrun 二次识别会产生大量的 无意义识别 这个 问题
双眼皮 只是附带的问题 所以 问题是 避免 一张图 被两种 扫码模式同时扫

@xulihang
Copy link
Owner

二次识别照理会判断图片里是不是有重叠的内容,重叠就不会添加上去的。

如果想跳过处理的话,可以用这个管理翻译的图片的功能,选中的图片会被认为已经翻译过了,处理时会被跳过。

image

要去除内部文字区域,也可以用这个功能,但我没做成支持操作所有图片的:

image

@xulihang
Copy link
Owner

噢,你是想自动判断有没有识别出区域,识别出的图片就跳过,这个目前没这样的设定

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

二次识别照理会判断图片里是不是有重叠的内容,重叠就不会添加上去的。

如果想跳过处理的话,可以用这个管理翻译的图片的功能,选中的图片会被认为已经翻译过了,处理时会被跳过。

image

要去除内部文字区域,也可以用这个功能,但我没做成支持操作所有图片的:

image

按理来说 应该是 会自动跳过 我也是这么认为的
因为OCR 或者 预翻译的时候 如果中断了 再重新运行 是会一张图检测如果检测到已经被OCR或者被翻译就会跳过的
所以我 想当然的以为 是不框选阶段也可以 但是 实际上实践之后 并不能所以有了这个帖子
image
图片管理这个 不太可能 没有图 我也不知道哪张 是那张只能 软件和 资源管理器来回切换
其实这个也不是很好操作 嘿嘿

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

噢,你是想自动判断有没有识别出区域,识别出的图片就跳过,这个目前没这样的设定

是的 就是先 跑 气泡识别 跑完气泡识别 在跑 插件的识别 如果 扫到图片已经被识别框选过 就跳过

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

这样 1是避免了双眼皮 二是遇到这种2个类型文字 和气泡 都有的漫画 可以 多个识别方法并用 而且存在跳过 多个方法还可以互相节省时间

@xulihang
Copy link
Owner

发张图片给我吧,我看看怎么会有重叠的问题。

@lhj5426
Copy link
Author

lhj5426 commented Jun 28, 2023

image
新建文件夹 (2).zip
抱歉刚才在厨房做菜单张是用手机发的 我挑了几张图打了个压缩包

@xulihang
Copy link
Owner

xulihang commented Jul 2, 2023

2.0.0做了下面的改动:

  1. 之前新检测到的区域如果比原有区域大,不会被滤除。2.0.0改成滤除。
  2. 已翻译图片管理器里可以便捷选择有文字区域图片、有原文图片或者有译文图片。选中的图片在批处理时会被跳过。
    image

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

哦奈瑟 哈哈 这就去更新体验一下

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

2.0引入了一个更严重的问题
image
image
之前1。9几的时候
这种图人物的身上不会被识别 更不会被这么夸张的是被框选
image

@xulihang
Copy link
Owner

xulihang commented Jul 2, 2023

这个是启发式文字检测吧,这个本来就是这样的。

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

这个是启发式文字检测吧,这个本来就是这样的。

不是 单图的时候调用了
image

批量的时候没有调用 现在
image

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

之前批量的时候 也是会调用这个的 ? 发问题时候的截图 检测就没这么多方块

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

现在自然场景 和启发式 在批量里 几乎是一个功能 不会调用外部插件

@xulihang
Copy link
Owner

xulihang commented Jul 2, 2023

我用manga-translator做自然场景文字检测,只有文字区域是被识别的。用项目-批处理的自动定位所有图片的文字(自然场景文字检测)
image

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

-批处理的自动定位所有图片的文字

我就用的这个功能呀 之前是这样的 今天更新完之后 就变成检测出一堆方块了 等我去重新安装一下插件

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

我用manga-translator做自然场景文字检测,只有文字区域是被识别的。用项目-批处理的自动定位所有图片的文字(自然场景检测) image

image
那我这是为啥呢? 插件重新安装重新下了 用的 项目 批量 里的自然检测
image
就出来这么多方块呢

@xulihang
Copy link
Owner

xulihang commented Jul 2, 2023

项目文件发给我看一下

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

项目文件发给我看一下

不好意思 老哥 是我的锅 我不知道为什么勾选么了翻转颜色导致了 一堆方块
image
删了之后好了
还有老哥 能不能想想办法让扫码置信度的时候 可以更准确的判断下 这个 非文字区域?

@xulihang
Copy link
Owner

xulihang commented Jul 2, 2023

这个需要自己重新训练一个模型。

  1. 保留图片中置信度低的区域

image

  1. 导出用于训练的文字区域图像和非文字区域图像

image

image

image

  1. 用tensorflow的make_image_classifier训练一个模型,保存为frozen_graph.pb,替换ImageTrans里的模型。这一步需要自己跑脚本和配环境,目前没有一个傻瓜式的操作工具。

@lhj5426
Copy link
Author

lhj5426 commented Jul 2, 2023

这个需要自己重新训练一个模型。

  1. 保留图片中置信度低的区域

image

  1. 导出用于训练的文字区域图像和非文字区域图像

image

image

image

  1. 用tensorflow的make_image_classifier训练一个模型,保存为frozen_graph.pb,替换ImageTrans里的模型。这一步需要自己跑脚本和配环境,目前没有一个傻瓜式的操作工具。

好恨自己不懂啊 哈哈 谢谢 我还是手动把 看不懂代码哈哈哈 虽然有GPT 但是跨界还是挺麻烦的
而且gtp也很智障经常问东说西 或者 就复读机

@lhj5426 lhj5426 closed this as completed Jul 2, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants