TensorRT-Alpha icon indicating copy to clipboard operation
TensorRT-Alpha copied to clipboard

关于多batch推理问题

Open 1511827481zzh opened this issue 1 year ago • 1 comments

如果我一个batch里面图像的size不一样,应该如何处理?我看您的代码中,都是默认batch里面图片的size一样的

1511827481zzh avatar Mar 04 '24 08:03 1511827481zzh

@1511827481zzh 如果一次推理四张图,它们宽高又不一致,甚至是未知的,就需要在循环中动态申请内存,较为耗时。可以尝试提前申请内存,并设置最大内存分配,然后推理,注意:每张图的warpAffine矩阵都需要单独计算。

FeiYull avatar Mar 04 '24 10:03 FeiYull