Hongji Zhu
Hongji Zhu
感谢关注，我们近期会支持流式输出
You can modify [modeling_minicpmv.py](https://huggingface.co/openbmb/MiniCPM-V-2/blob/main/modeling_minicpmv.py) to support chat without image.
MiniCPM-V 2.0 需12G以上
web_demo.py 只实现了调用MiniCPM-V 1.0/2.0模型, OmniLMM-12B可参考chat.py 中调用方式自行修改～
请问提供使用的模型名称，图像，以及promot MiniCPM-V 2.0具备较好的中英文OCR能力，MiniCPM-V 1.0及OmniLMM-12B OCR能力较弱
抱歉，模型代码中有个bug导致调用chat后input msgs会被修改，现已修复，请拉取最新文件[modeling_minicpmv.py](https://huggingface.co/openbmb/MiniCPM-V-2/blob/main/modeling_minicpmv.py)。 关于中文OCR，目前全文输出能力确实有所不足，提取局部信息能力还不错，文字信息提取任务推荐使用beam search解码(sampling=False) ```python res, context, _ = model.chat( image=image, msgs=msgs, context=None, tokenizer=tokenizer, sampling=False ) print(res) ```
sampling=False具体实现见https://huggingface.co/openbmb/MiniCPM-V-2/blob/main/modeling_minicpmv.py#L336-L352 微调代码已经放出，请关注本repo首页更新日志～
请提供更详细信息，包括操作系统，显卡型号，pytorch版本，具体错误日志
We are working on it, coming in this week.
MiniCPM-V-2.0 support vLLM now， https://github.com/OpenBMB/MiniCPM-V#vllm