poplar
poplar
谢谢作者,是低并发降低推理延迟的问题,模型已经导出静态图了,用的滑窗推理,就是图像比较大,现在batchsize为1,blocksize512,一张图需要10分钟左右,我再尝试加大batchsize试试,
Hi@rokopi-byte What is result of use costom dataset to fine-tune internvl model?
帧率通过fps设置为30,前几分钟可以一直保持30,后面随着推流帧数frame增加,fps开始逐渐下降,一直降到10几左右,视频就比较卡了。

楼主有什么经验了吗