FastBERT icon indicating copy to clipboard operation
FastBERT copied to clipboard

Published 20 hours ago • verified publisher icon BitVoyage

predict.py压测GPU使用率低

Open zhongjy2020 opened this issue 3 years ago • 0 comments

infer.py测试阶段GPU使用率可以达到90%以上；但是，使用predict.py进行线上压测时，并发量很小，GPU使用率只有20~30%。请问，这是什么原因导致的呢？

zhongjy2020 avatar Jul 07 '20 08:07 zhongjy2020