Youjia

Error during Finetune MiniCPM 微调MiniCPM时出错 & zero3

10

**Describe the bug** What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图) Training Command is: ``` NPROC_PER_NODE=8 \ swift sft \ --model_type minicpm-v-v2_5-chat \ --dataset xxxxxx\ --sft_type full...

VLM是否支持并行推理？

2

**Describe the feature** Please describe the feature requested here(请在这里描述需求) 目前infer的方式和deploy部署，都是串行的。是否有某种方式可以实现并行对多条数据进行同时处理（为了加快速度）。 例如，我需要使用一个自己训练的模型（minicpm-v2.5-chat），对大约一万条文字提问+每个提问对应的一张图片进行推理并保存结果，最快的方式是什么？