PaddleDetection
PaddleDetection copied to clipboard
推理模型时 无法分配请求的GPU内存量
问题确认 Search before asking
- [X] 我已经搜索过问题,但是没有找到解答。I have searched the question and found no related answer.
请提出你的问题 Please ask your question
版本:CUDA11.2/cuDNN8.2/TensorRT8.0 使用的对应版本的 inference 库
在使用TesnorRT推理模型时,出现了下列错误
我已经通过 EnableUseGpu(1000,0), EnableTensorRtEngine(1<<30, ...),设置好了所需内存空间,并开启了EnableMemoryOptim
看报错信息,你请求了大概8GB的显存导致显存不足