请问该如何加速internvl-v1-5的推理呢？

Open sunzx8 opened this issue 1 year ago • 6 comments

Jul 05 '24 09:07 sunzx8

量化、减少图片衍生张数

Jul 06 '24 01:07 janelu9

请问现在支持通过vllm加速吗？

Jul 08 '24 02:07 sunzx8

@sunzx8 use lmdeploy

Jul 09 '24 05:07 austingg

量化、减少图片衍生张数

请问图片衍生张数，是通过dynamic_preprocess中的max_num来控制的吗？谢谢

Jul 19 '24 02:07 danmeng90

量化、减少图片衍生张数

请问图片衍生张数，是通过dynamic_preprocess中的max_num来控制的吗？谢谢

对

Jul 19 '24 12:07 janelu9