chengxm1991

背景：internvl-1.5-int8，使用两张A10卡做batch_inf，设置bitch_size=4。 问题： 1. gpu利用率平均在20%，太低 2. 两张A10卡，受限于显存，不支持大bitch_size 3. 已经采用异步预处理和推理 请问在这种情况下，如何进一步提高gpu利用率，预期60%以上 。备注：可参考附件的截图，批次推理，每两个GPU利用率高峰间，总存在约45s的利用率低谷，请问这里有什么办法减小吗？ 感谢！