internvl2+lmdeploy部署推理视频,有没有控制采样频率,前处理的参数?目前的推理时间过长了
Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程,最好有截图) internvl2+lmdeploy部署推理视频,有没有控制采样频率,前处理的参数?目前的推理时间过长了
Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息,如CUDA版本,系统,GPU型号和torch版本等) lmdeploy 0.5.3 vllm 0.6.1 ms-swift 2.4.1
Additional context Add any other context about the problem here(在这里补充其他信息)
谢谢 cc @Jintao-Huang
Describe the bug What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程,最好有截图) internvl2+lmdeploy部署推理视频,有没有控制采样频率,前处理的参数?目前的推理时间过长了
Your hardware and system info Write your system info like CUDA version/system/GPU/torch version here(在这里给出硬件信息和系统信息,如CUDA版本,系统,GPU型号和torch版本等) lmdeploy 0.5.3 vllm 0.6.1 ms-swift 2.4.1
Additional context Add any other context about the problem here(在这里补充其他信息)
谢谢 cc @Jintao-Huang
https://swift.readthedocs.io/zh-cn/latest/Instruction/%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0.html#internvl2-internvl2-phi3-internvl2-5-internvl3