FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

Fastdeploy在JetsonNano上,通过TensorRT调用picodet,内存占用过高问题。

Open czyczyczy opened this issue 2 years ago • 1 comments

环境

  • 【编译命令】cmake .. -DBUILD_ON_JETSON=ON
    -DENABLE_VISION=ON
    -DENABLE_PADDLE_BACKEND=OFF
    -DPADDLEINFERENCE_DIRECTORY=/Download/paddle_inference_jetson
    -DCMAKE_INSTALL_PREFIX=${PWD}/installed_fastdeploy
  • 【系统平台】: Linux x64(Ubuntu 18.04)
  • 【硬件】: JetsonNano, CUDA 10.2.300 CUDNN 8.2.1.32
  • 【编译语言】: C++

问题日志及出现问题的操作流程

  • 附上详细的问题日志有助于快速定位分析
  • 【性能问题】描述清楚对比的方式
  • 同时初始化picodet-s-320、pplcnet_x1_0模型,使用框架为TensorRT,在jetson_nano平台上,占用内存超过1.5G,这个问题有解决的办法嘛/

czyczyczy avatar Jan 05 '24 06:01 czyczyczy

量化一下模型是不是能减少存储的占用

rainyfly avatar Feb 06 '24 07:02 rainyfly