Geotk

设置seed

转换的onnx模型结构如下 

> 可以参考一些开源社区的onnx版本：https://huggingface.co/swulling/bge-reranker-large-onnx-o4 非常感谢，这太有用了。不过有个疑问，为啥会只导出部分模型的情况呢？万分感谢解答因为第一次出现这种情况，想了解学习一下。

> 建议切换到trt，对性能提升更好，可以参考相关代码 > > https://github.com/flyme2023/bge 太感谢了，因为刚刚才在排查转为trt推理结果和onnx不一致的问题。我使用的是nvidia的nvcr.io/nvidia/tensorrt:23.06-py3 容器内执行：trtexec --onnx=/workspace/model.onnx \ --saveEngine=/workspace/model.plan \ --minShapes=input_ids:1x1,attention_mask:1x1 \ --optShapes=input_ids:6x128,attention_mask:6x128 \ --maxShapes=input_ids:24x512,attention_mask:24x512 \ --memPoolSize=workspace:8096 \ --fp16 上述命令行进行转换的方法，试过好多次。推理结果出错，正在使用polygraphy排查。。谢谢你的参考资源

> > > 建议切换到trt，对性能提升更好，可以参考相关代码 > > > https://github.com/flyme2023/bge > > > > > > 太感谢了，因为刚刚才在排查转为trt推理结果和onnx不一致的问题。我使用的是nvidia的nvcr.io/nvidia/tensorrt:23.06-py3 容器内执行：trtexec --onnx=/workspace/model.onnx --saveEngine=/workspace/model.plan --minShapes=input_ids:1x1,attention_mask:1x1 --optShapes=input_ids:6x128,attention_mask:6x128 --maxShapes=input_ids:24x512,attention_mask:24x512 --memPoolSize=workspace:8096 --fp16 上述命令行进行转换的方法，试过好多次。推理结果出错，正在使用polygraphy排查。。谢谢你的参考资源 > > 我也遇到了 reranker 转为 trt...

> 你好，请问这个问题是咋解决的。使用AutoModelForSequenceClassification嘛 是的，但转trt暂时没成功。应该是版本问题，你可以试试使用上面的github连接转换一下

I've read through some issues where adjustments were made to the Triton Server containers by selecting appropriate versions. I am wondering if it is possible to upgrade only the TensorRT...