Gpu共享内存

[BuLuoPiaoYu]

何时能把显存降下去，这用的也太多了，换张大点的图片（如 5472*3648）直接就爆了，共享内存应该也是可以用的吧

可视化工具在大分辨率（如 5472*3648）情况下也很慢，接近1秒，有没有用Gpu做可视化的可能

目前测下来 MaskRCNN + ResNet50_vd_ssld 训练的模型，在RTX3060、图片分辨率 5472*3648 的情况下预测时间在1.5秒左右，很慢了，在工业上只能接受100毫秒左右（并且是同时多个模型预测）的时间开销

[FlyingQianMM]

1. 共享GPU内存一般由操作系统操控
2. 当前显存不是很大，遇到大图片时，可以将大图切小图分别预测再合并结果，或者把模型输入大小设的小一些
3. GPU下可以先试下开启TensorRT预测，能让模型推理进一步加速

[BuLuoPiaoYu]

1. 共享GPU内存一般由操作系统操控
2. 当前显存不是很大，遇到大图片时，可以将大图切小图分别预测再合并结果，或者把模型输入大小设的小一些
3. GPU下可以先试下开启TensorRT预测，能让模型推理进一步加速

1.C++中如何设置模型输入大小 2.C++中已经开启TensorRT，只是不知道是否有效，我测试下来200轮的预测耗时都差不多，并没有发现存在“预热”现象； 在开启TensorRT时，如下图的一些可变参数具体是什么意思（如 “image”、“1 3 100 100”）

[FlyingQianMM]

1. 模型输入大小由model.yml中的transform部分决定
2. 预热是测试性能的一个步骤，

[BuLuoPiaoYu]

1. 模型输入大小由model.yml中的transform部分决定
2. 预热是测试性能的一个步骤，

对呀，我都测了200轮了，每轮的速度都差不多呢