Bug 反馈:用ysgyolo文字识别模型+lama修复方法,自动抹字抹不干净
版本信息
https://github.com/dmMaze/BallonsTranslator/commit/d671bfb5d988dc7028708ac0f81223631f167658 该版本
问题描述
用ysgyolo文字识别模型中的任意模型,配合lama_large或者aot图片修复方法,一键运行自动抹字时,大量气泡框内字都抹不干净。这种纯色背景的部分不应该出现这种情况。而手动右键框选,手动选择抹字,则可以正常抹干净。
其他变量设置相同,用ctd文字识别模型时,一键运行自动抹字时则不会出现该现象。
文本检测
None
OCR
None
Inpaint
lama_large_512px
翻译器
None
屏幕截图
没抹干净的部分和原图(低透明度)对比
日志
其他信息
No response
可以试着把那个 dilate size 调大点
可以试着把那个 dilate size 调大点
开到5都没用
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙
我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大
所以我自己用的时候都是额外跑一份 代码推理
然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
举个例子
https://github.com/user-attachments/assets/30d2f3fa-6d40-4539-841f-5fd5b4757616
不过这种方法 有点过于简单粗暴 所有 我现在又改成了这样
https://github.com/user-attachments/assets/63f63402-84d6-45c0-bf42-318d93c55a9b
这些痛点我也有 但是不是不能解决 去做目标分割是打死也不会去做 我用PS 的魔术棒 加 磁性套索工具 做了10页 目标分割半天就过去了
做目标检测 半天能做至少500页
应该可以用 CV 方法扣字,或者用 ctd 扣字部分顶一下,我有空弄一下 另外我就说为什么都在提漏洞原来是 issue template 的问题...
issue template
Sorry. I (gemini) mistranslated this into Chinese >_<...
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙
我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大
所以我自己用的时候都是额外跑一份 代码推理
然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙 我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大 所以我自己用的时候都是额外跑一份 代码推理 然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
我代码都放着了 https://github.com/lhj5426/YSG 而且我从没说 在 BL里生成 我是说额外生成 原话是【额外跑一份】 没说是在BL里跑的 需要你自己在电脑里安装python 安装YOLOV11环境 然后独立用代码跑一份
应该可以用 CV 方法扣字,或者用 ctd 扣字部分顶一下,我有空弄一下 另外我就说为什么都在提漏洞原来是 issue template 的问题...
能不能用yolo跑文字检测,然后在yolo的基础上用ctd生成掩膜,我目前就是先跑yolo,然后备份json,再跑ctd生成mask,然后还原json
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙 我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大 所以我自己用的时候都是额外跑一份 代码推理 然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
我代码都放着了 https://github.com/lhj5426/YSG 而且我从没说 在 BL里生成 我是说额外生成 原话是【额外跑一份】 没说是在BL里跑的 需要你自己在电脑里安装python 安装YOLOV11环境 然后独立用代码跑一份
这种方块mask用lama修出来很难看,有时还会直接用纯色填充
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙 我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大 所以我自己用的时候都是额外跑一份 代码推理 然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
我代码都放着了 https://github.com/lhj5426/YSG 而且我从没说 在 BL里生成 我是说额外生成 原话是【额外跑一份】 没说是在BL里跑的 需要你自己在电脑里安装python 安装YOLOV11环境 然后独立用代码跑一份
直接在设置里把mask dilate size往高了写就行
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙 我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大 所以我自己用的时候都是额外跑一份 代码推理 然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
我代码都放着了 https://github.com/lhj5426/YSG* 而且我从没说 在 BL里生成 我是说额外生成 原话是【额外跑一份】 没说是在BL里跑的 需要你自己在电脑里安装python 安装YOLOV11环境 然后独立用代码跑一份
直接在设置里把mask dilate size往高了写就行
我自己用又不发网上我倒是对这些没所谓 发网上我都是精修 修就够几十个小时了
消除的不好是因为
软件会把文字 分成一条条的 而导致中间有缝隙 我在做模型的时候就考虑到这个问题了 因为我只检测 而没做 目标分割的掩膜 那个没有一个现成的可以微调的模型不是人做 虽然我实现了使用PS的 魔术棒 和 磁性套索工具 当作 目标分割数据制作工具 但是工作量依然很大 所以我自己用的时候都是额外跑一份 代码推理 然后生成一份 以完整矩形框生成的【伪掩膜】 然后替换掉软件生成的 去修复
请问怎么在BT里生成一份完整框的掩膜?我并没有找到相关代码
我代码都放着了 https://github.com/lhj5426/YSG* 而且我从没说 在 BL里生成 我是说额外生成 原话是【额外跑一份】 没说是在BL里跑的 需要你自己在电脑里安装python 安装YOLOV11环境 然后独立用代码跑一份
直接在设置里把mask dilate size往高了写就行
我自己用又不发网上我倒是对这些没所谓 发网上我都是精修 修就够几十个小时了
用过flux精修图片吗