分割批量推理的时候，时间和单个推理速度差不多

[chenjs123]

[chenjs123]

onnxruntime推理分割模型的时候，推理batch=1和batch=8的时间差不多

[UNeedCryDear]

不是很懂这个有什么问题吗？不算前后处理时间，单单算推理时间，batch size的意义不就是在这里吗，通过空间换时间啊，只要你的算力没有吃满，batch就可以通过空间换取增加少量的推理时间

[chenjs123]

不是很懂这个有什么问题吗？不算前后处理时间，单单算推理时间，batch size的意义不就是在这里吗，通过空间换时间啊，只要你的算力没有吃满，batch就可以通过空间换取增加少量的推理时间

您好，我这边测试的就是说batch=1推理80张图，和batch=8推理80张图，最终得到的时间是差不多的，按照您的说法，batch=8应该是推理80张图速度更快才对呢，我用的是yolov8n-seg,输入尺寸是256

[UNeedCryDear]

那看下你的算力是否吃满，包括显存是否足够，cuda核心使用率多少，这些都是有影响的。