TLC
TLC copied to clipboard
预测速度慢
试了下预测的demo,一张图片大概要3~4秒,请问是正常的么?
推理速度与模型本身、输入图像大小和推理硬件都相关。
对于720x1280的输入分辨率,MPRNet原模型在Nvidia 2080Ti GPU上的推理时间就需要1.6秒,额外使用TLC的话需要1.7秒(加速优化版)或2.0秒(论文的实现)。具体测速结果可以查看论文 Table A1。
如果GPU性能不够好或者图像分辨率较高的情况下,一张图需要3-4秒也是正常的。
多谢你的回复,我补充下测试情况: 模型是Restormer-TLC,GPU是V100 32G,输入是720x1280,一张大概需要3~4秒,这个时间正常吗?