ru3inggg

icon location I'm a student.

Results 9 comments of ru3inggg

X.

邮件收到，我会尽快回复~

resnet caffe model files

邮件收到，我会尽快回复~

dd

邮件收到，我会尽快回复~

resnet caffe model files

邮件收到，我会尽快回复~

minicpmv_example.py 文件不存在

现在还是没有呀？

目前支持minicpm_v_v2_5_chat的多卡推理吗？

> device_map方式应该是没问题的 import os os.environ['CUDA_VISIBLE_DEVICES'] = '6,7' model_type = ModelType.minicpm_v_v2_5_chat lmdeploy_engine = get_lmdeploy_engine(model_type, model_id_or_path='/home/llm/MiniCPM/MiniCPM-Llama3-V-2_5', tp=2) template_type = get_default_template_type(model_type) template = get_template(template_type, lmdeploy_engine.hf_tokenizer) lmdeploy_engine.generation_config.max_new_tokens = 256 generation_info = {} 这样直接在lmdeploy_engine这一步Aborted (core...

VLM是否支持并行推理？

同问，目前swift支持minicpm-v2.5-chat的多卡推理吗？

TypeError: MiniCPMV.forward() missing 1 required positional argument: 'data'

uninstall之后，重新pip install lmdeploy。依然还是这个报错。TypeError: MiniCPMV.forward() missing 1 required positional argument: 'data' 不知道是什么情况了...

是否支持批量推理?

[MiniCPM-V](https://github.com/OpenBMB/MiniCPM-V) 请问该项目支持图片以url输入吗？