Chinese-CLIP icon indicating copy to clipboard operation
Chinese-CLIP copied to clipboard

onnx部署没问题,tensorrt部署有问题

Open paulpaul91 opened this issue 1 year ago • 3 comments

onnx部署没问题,tensorrt部署有问题 tensorrt是图像侧没有问题,文本侧的向量不对,导致计算相似不对,有没有解法

paulpaul91 avatar Aug 29 '24 16:08 paulpaul91

你好,想请教一下配环境的问题。我开在了cuDNN版本不对。(8.3.2而不是8.6.0)

ranck626 avatar Sep 10 '24 08:09 ranck626

我也遇到一样问题,使用tensorrt 10.6.0,库api有些调整,基本上是把binding相关的接口改到io_tensor,还有使用context.execute_async_v3接口启动,为此调整了tensorrt_utils.py中的内容,改完之后测试,将onnx出来的feature和trt出来的feature做内积,发现图像模型99+,基本一致,但是文本模型出来分别是68、79、78、74,不管fp16还是fp32都这样,直接用trtexec转换也一样,导致图文内积偏差较大,怀疑是由于api更新但是tensorrt_util.py里有哪个环节还没匹配上导致的

ypat999 avatar Nov 08 '24 16:11 ypat999

同样的问题,请教一下最后解决了吗?

Bernice123 avatar Jan 22 '25 08:01 Bernice123