yolov4-pytorch
yolov4-pytorch copied to clipboard
bubbliiiing
训练中突然停止，也不报错，就一直停在那里
相同的数据集（45000张图片，9比1划分训练集和验证集），在ultralytics yolov5x上跑没问题（input_size=640，batch_size=4，使用mosaic数据增强）。
不知道up主有没有拿大批量的数据集来训练过。
跑到第13个epoch爆显存了，input_shape = (416,416)，Batch_size = 4.
Epoch 13/25: 60%|██████ | 6080/10125 [25:21<23:04, 2.92it/s, lr=0.000282, step/s=0.306, total_loss=14.1]Traceback (most recent call last): File "D:\anaconda\lib\multiprocessing\queues.py", line 236, in _feed obj = _ForkingPickler.dumps(obj) File "D:\anaconda\lib\multiprocessing\reduction.py", line 51, in dumps cls(buf, protocol).dump(obj) MemoryError Epoch 13/25: 60%|██████ | 6088/10125 [25:40<19:00, 3.54it/s, lr=0.000282, step/s=0.248, total_loss=14.1]
训练时，修改Use_Data_Loader = False（原来为True），这个修改会使num_workers，pin_memory参数不再生效，同时将batch_size改小，比如修改为8. 测试时，可以将测试时的batch_size改为原来的1/3或者1/2. 2070S这样设置可以跑，不再无故卡死。
后来发现，训练时，可以将预训练模型加载在cpu上，num_works拉满，pin_memory=False,调整训练时的batch_size至内存有１G剩余；val时，除batch_size=Batch_size//5,其余参数相同。 这样也可以。
一般无故卡死是因为多线程读取数据导致内存爆炸，所以大内存很重要，否则就调小num_works
你好 请问这种情况导致的内存爆炸能检测到吗 比如使用命令 watch free -h
还是说卡死之后内存会自动被系统释放
Total Loss: 0.032 || Val Loss: 0.024 Save best model to best_epoch_weights.pth Start Train Epoch 52/200: 94%|▉| 1558/1660 [05:59<00:22, 4.55it/s, loss=0.0319, lr=0.00053 Process finished with exit code -1 我的v7运行到52轮就自动停止了，是什么原因。
