ErfeiCui
ErfeiCui
> 想问下 目前1.5版本的VG任务微调，prompt版本还是一样么？在上传的playground中，sharegpt4v_mix665k_cap23k_coco-ap9k_lcs3k_sam9k_div2k.jsonl文件里面涉及的coco定位任务prompt似乎并没有的tag？ prompt基本都是一样的，XXX[[253, 231, 733, 787]]这样的结构也是一直保持的
我本地部署好这个docker了，但是我用API的时候会报错 { "message": "fetch error, pleace check url", "url": "http://***.***.**:**/v1/chat/completions", "code": "fetch_error" }
Thank you for your suggestion. We will synchronize this change with all the model codes on HF as soon as possible.
可以加一段检查代码检查模型中的所有参数是否已经初始化，如果有参数未被初始化，可以试一下将这些张量移到 CPU 或 GPU上来强制初始化，同时low_cpu_mem_usage 你也可以尝试将其设置为 False，看一下能否解决这个问题
显存爆的话，可以把--freeze_llm 设为True，应该就不会溢出了
提高并发响应速度，可以使用vllm或者Imdeploy进行worker部署和适配
If possible, please provide more code details and specify the model versions used.
It is recommended to strictly follow the environment setup of version 2.0, especially the version of transformers. Additionally, please use the latest code.
You can refer to our documentation for model evaluation: https://github.com/OpenGVLab/InternVL/blob/main/README.md#documents. Also, if possible, could you provide some examples of errors?