llm-export qwen2-vl 转成 onnx 后，如何再通过 tensorrt 单独把 visual 部分转成 plan ？

qwen2-vl 转成 onnx 后，如何再通过 tensorrt 单独把 visual 部分转成 plan ？

Open scdotbox opened this issue 1 year ago • 5 comments

Sep 19 '24 08:09 scdotbox

如何再通过 tensorrt 单独把 visual 部分转成 plan

这个句话的意思不太明白？导出之后就会有visual.onnx模型的

Oct 08 '24 09:10 wangzhaode

我试了下现在可以转为 visual.onnx，请问下现在有试过转为 tensorrt 吗？

Oct 09 '24 06:10 scdotbox

目前还没有测试过

Oct 09 '24 07:10 wangzhaode

我试了下现在可以转为 visual.onnx，请问下现在有试过转为 tensorrt 吗？

我转出来的visual.onnx只有1.3M，然后有很多visual开头的文件，不知道怎么使用。你这边转出来是多大的文件？

Oct 09 '24 16:10 dreamjp2022

我试了下现在可以转为 visual.onnx，请问下现在有试过转为 tensorrt 吗？

我转出来的visual.onnx只有1.3M，然后有很多visual开头的文件，不知道怎么使用。你这边转出来是多大的文件？

因为模型大小超过2GB，onnx会把权重和计算图单独存储

Oct 12 '24 09:10 wangzhaode