CRNN_Chinese_Characters_Rec icon indicating copy to clipboard operation
CRNN_Chinese_Characters_Rec copied to clipboard

Published 20 hours ago • verified publisher icon Sierkinhane

训练速度过慢，且gpu利用率很低

Open first-wording opened this issue 4 years ago • 1 comments

你好，我在用四百二十万张图片进行训练时，batch_size设置为64,但是出现了训练速度很慢的情况，watch -n 1 nvidia-smi时gpu利用率也很低，一直在1%-5%之间徘徊，

image image

而我在print(torch.cuda.is_available(））时返回true，当我该更换batch_size为4或者更小时，每一步的训练时间加快，但一个epoch的时间仍然很长，且watch -n 1 nvidia-smi的gpu利用率也不到百分之十：

image 请问如何提高训练速度，提高gpu利用率？

first-wording avatar Aug 08 '20 07:08 first-wording

image 利用率低和数据导入的速度有关，我之前训练过程中导入数据挺快的，如图中的speed，

Sierkinhane avatar Aug 08 '20 08:08 Sierkinhane