int8模型: gpu利用率很低，如何提高

[chengxm1991]

背景：internvl-1.5-int8，使用两张A10卡做batch_inf，设置bitch_size=4。 问题：

1. gpu利用率平均在20%，太低
2. 两张A10卡，受限于显存，不支持大bitch_size
3. 已经采用异步预处理和推理 请问在这种情况下，如何进一步提高gpu利用率，预期60%以上 。备注：可参考附件的截图，批次推理，每两个GPU利用率高峰间，总存在约45s的利用率低谷，请问这里有什么办法减小吗？

感谢！