xhs111

> > 建议切换到trt，对性能提升更好，可以参考相关代码 > > https://github.com/flyme2023/bge > > 太感谢了，因为刚刚才在排查转为trt推理结果和onnx不一致的问题。我使用的是nvidia的nvcr.io/nvidia/tensorrt:23.06-py3 容器内执行：trtexec --onnx=/workspace/model.onnx --saveEngine=/workspace/model.plan --minShapes=input_ids:1x1,attention_mask:1x1 --optShapes=input_ids:6x128,attention_mask:6x128 --maxShapes=input_ids:24x512,attention_mask:24x512 --memPoolSize=workspace:8096 --fp16 上述命令行进行转换的方法，试过好多次。推理结果出错，正在使用polygraphy排查。。谢谢你的参考资源 您好，请问下您这个配置是什么，最近我也在尝试转onnx，但是我这个电脑没显卡，请问您试用的配置是多少，推理速度大概能达到多少？