MST-plus-plus-TensorRT
MST-plus-plus-TensorRT copied to clipboard
Dynamic Shape infer
你好,大神。请教一下,TensorRT 的 动态shape 推理相对静态shape,显存是不是一定会增加?如果是,有没有方法优化这个显存占用增加的现象。谢谢
如果你是静态的shape,我不建议用Dynamic shape的TRT plan去推断,我自己觉得这种情况下Dynamic shape的模型推断速度不够快,他要做shape的推断,同时优化过程选择的kernel,Dynamic和Static可能也是不一样的,这导致Dynamic时速度可能会低于Static的model.
我自己的原则是能不用Dynamic shape就不用,除非万不得已.
至于显存是不是一定会增加?
这个问题,我之前没有遇到过这种情况,抱歉。
好的,非常感谢你的回复。