PaddleYOLO icon indicating copy to clipboard operation
PaddleYOLO copied to clipboard

数据增强MosaicPerspective 可能导致的多卡训练时的多线程bug

Open MINGtoMING opened this issue 1 year ago • 4 comments

问题确认 Search before asking

  • [X] 我已经搜索过问题,但是没有找到解答。I have searched the question and found no related answer.

请提出你的问题 Please ask your question

我发现PaddleYOLO里的算法,只要用了MosaicPerspective数据增强(如yolov5,yolov7,yolov8) 单卡训练时正常,但换到多卡时有时候会报线程错误并强制退出。 而不用MosaicPerspective数据增强(如ppyoloe,rtdetr) 单卡训练时正常,多卡也正常。 大佬们修一下吧,好几个版本都这样。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 image 当然也可能是我自己操作的问题,拜托大佬们-_^

MINGtoMING avatar Jun 29 '23 18:06 MINGtoMING

你好,yolov5,yolov7,yolov8 多卡均可以完整训完coco全量数据集的300epoch,且内部业务数据集也都训过是ok的。是不是你的数据集的原因,你也可以试下coco,你的数据集有什么特点吗? 这个报错你加了MosaicPerspective到RT-DETR吗,我们内部已经试过mosaic了不涨点且速度慢所以默认不加,建议发下你的改动以便排查

nemonameless avatar Jun 30 '23 05:06 nemonameless

大佬你好,我是用了自己的数据集,数据集的特点是有些图片很大,所以我把图片的最大边设为4096缩放处理了一下。标注个格式也是COCO的,其他没改

MINGtoMING avatar Jul 01 '23 08:07 MINGtoMING

会不会是MosaicPerspective的多线程加上图片统一缩放到640x640前资源占用太多

MINGtoMING avatar Jul 01 '23 08:07 MINGtoMING

谢谢建议,后续会进行下排查修复。

nemonameless avatar Mar 04 '24 09:03 nemonameless