FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

训练时显卡占用率低

Open Scott666666 opened this issue 2 years ago • 2 comments

目前用的三块T4训练，显卡占用率非常低，请问是什么原因。您们训练平均显卡占用率能达到多少

Scott666666 avatar Jan 08 '24 02:01 Scott666666

跟参数设置有关，可通过扩大per_device_train_batch_size和query/passage_max_len提高显存占用。 如果指的是显卡的利用率，可以通过设置dataloader_num_workers加快数据加载，提高显卡利用率。

staoxiao avatar Jan 08 '24 04:01 staoxiao

好的，感谢！

Scott666666 avatar Jan 09 '24 08:01 Scott666666