RK3588板端推理 || 内存充足，多batch推理失败

[hollytan]

问题描述：

单batch输入的yolov5s只能占用45%的NPU性能，试图用多batch推理提高整体速度。 24+batch推理时，npu性能出现10%-89%的波动，随后报错killed。

模型信息：

模型：YOLOV5S
batch：28 推理模式：单核（NPU_0)
内存评估：

[hollytan]

补充2：在数据集遍历中使用同个模型推理会导致上述错误，原因未知：

[blueskywwc]

你好，板子上想问下如何设置多batch推理呢，谢谢