TLC icon indicating copy to clipboard operation
TLC copied to clipboard

预测速度慢

Open HualeiZhuu opened this issue 1 year ago • 2 comments

试了下预测的demo,一张图片大概要3~4秒,请问是正常的么?

HualeiZhuu avatar May 17 '23 09:05 HualeiZhuu

推理速度与模型本身、输入图像大小和推理硬件都相关。

对于720x1280的输入分辨率,MPRNet原模型在Nvidia 2080Ti GPU上的推理时间就需要1.6秒,额外使用TLC的话需要1.7秒(加速优化版)或2.0秒(论文的实现)。具体测速结果可以查看论文 Table A1。

如果GPU性能不够好或者图像分辨率较高的情况下,一张图需要3-4秒也是正常的。

achusky avatar May 18 '23 14:05 achusky

多谢你的回复,我补充下测试情况: 模型是Restormer-TLC,GPU是V100 32G,输入是720x1280,一张大概需要3~4秒,这个时间正常吗?

HualeiZhuu avatar May 22 '23 07:05 HualeiZhuu