bert4torch icon indicating copy to clipboard operation
bert4torch copied to clipboard

Published 20 hours ago • verified publisher icon Tongjilibo

tensorrt 把onnx转化成fp16的trt engine时，精度损失

Open chironma opened this issue 1 year ago • 1 comments

请教下，tensorrt trtexec把onnx转换成fp32的trt时，是没有问题的，但是转换成fp16，误差很大，基本不可用；不知道你这边有没有转成fp16的trt，有没有问题？

chironma avatar Sep 27 '22 05:09 chironma

你好，我没测过fp16的，网上看到不少这样的情况的，后续有时间我也研究下看看，你这边要是有进展，烦劳反馈下哈

Tongjilibo avatar Sep 27 '22 06:09 Tongjilibo