tensorRT_Pro
tensorRT_Pro copied to clipboard
C++ library based on tensorrt integration
[2022-09-25 08:10:04][info][app_yolo.cpp:132]:===================== test YoloV5 FP32 yolov5s6 ================================== [2022-09-25 08:10:04][info][trt_builder.cpp:474]:Compile FP32 Onnx Model 'yolov5s6.onnx'. [2022-09-25 08:10:07][error][trt_builder.cpp:30]:NVInfer: C:\Users\17243\Desktop\tensorRT_Pro-main\windows\src\tensorRT\onnx_parser\ModelImporter.cpp:736: While parsing node number 143 [Resize -> "onnx::Concat_271"]: [2022-09-25 08:10:07][error][trt_builder.cpp:30]:NVInfer: C:\Users\17243\Desktop\tensorRT_Pro-main\windows\src\tensorRT\onnx_parser\ModelImporter.cpp:737: --- Begin node...
有个问题:在内存复用时,如果当前需要的内存小于已申请的内存,直接返回已申请的内存,但是如何保证这段内存没有在使用,如果在其他线程中这段内存正在被使用,那不就错了?
对于其他框架比如Tensorflow导出的onnx模型,能不能能不能加一个接口支持直接导入onnx?
出现了batchnorm维度不一致的问题,代码完全没改,希望有个大佬给一份能跑通的代码我看看
请教一下: 1、int8量化后的trt模型可以可视化分析每一层的输入输出类型吗,与fp16和fp32进行对比,因为int8量化后的模型不一定每一层都是int8吧,有可能是混合精度推理模型; 2、对于一些对输出精度要求高的层,怎么细粒度到设置该层为float输出呀?谢谢啦!