Chen Xin

Can you print the output of `git diff` under mmdeploy root folder. I want to know the modification you did

The changes are same with mine. I made the following steps and didn't meet any error. ``` docker run -it --rm --gpus all ubuntu20.04-cuda11.3-mmdeploy1.0.0 cd /root/workspace/mmdeploy/build vim ../csrc/mmdeploy/backend_ops/tensorrt/common_impl/nms/allClassNMS.cu # edit...

@himansh1314 No, I didn't go through the cmake process because I didn't meet compilier error. You met the compilier error, so I suggest you to delete the build folder and...

不支持 mmcv:SoftNonMaxSuppression 目前只有这些：https://github.com/open-mmlab/mmdeploy/tree/main/csrc/mmdeploy/backend_ops/onnxruntime

I'm confused too. Obviously, there are some vision_tower weights in llava-v1.6. ~If loading llm first with `LlavaLlamaForCausalLM.from_pretrained` and then load vision_tower, the vision_tower weights in llava-v1.6 will be overwritten by...

@xylcbd I looked the code again and find there is no problems in the code. For llava-1.5, the vision_tower weight is same as openai, so it is ok whether delay...

@hjh0119 现在的代码不支持我说的用法，像你说的他可能对输入有一些限制。 @czczup 我的疑问是InternVL-chat 是否具备图像-文字交错对话的能力，即我可以在任意round给图片输入(类似 DeepSpeed-VisualChat 给的图例)。还是说目前只能在第一轮插入图片。

@hjh0119 我看了一下你们的代码，拼法貌似跟internvl-demo一样，都是放在了第一轮的user里面，跟我理解的“交错”不太一样。我理解的交错是像你们处理deepseek-vl那样，image的token在每一轮的user里面，而不是集中在第一轮的user里面。 所以还是想跟internvl的作者确认一下，对于多轮带图片的对话，internvl正确的处理方式是什么。

@hjh0119 对于internvl： 你们的代码，输入看起来是交错的，每次都有新的图片，但是你们其实是在维护一个[图片列表](https://github.com/modelscope/swift/blob/2f3659b4d7117fdbeba8fb7d618242406ab1f27f/swift/llm/infer.py#L222)，然后最终的prompt还是用的[这个函数](https://github.com/modelscope/swift/blob/2f3659b4d7117fdbeba8fb7d618242406ab1f27f/swift/llm/utils/template.py#L886-L898)拼在了最开始的user里面 对于deepseek-vl 你们没有维护image_list，而是根据[](https://github.com/modelscope/swift/blob/2f3659b4d7117fdbeba8fb7d618242406ab1f27f/swift/llm/utils/template.py#L1062-L1107)来插入图片的embedding，而是在每轮的user当中的。 前者，如果新一轮的对话中有图片，会改变历史prompt(kv-cache没办法复用，需要重新算)。后者并不会改变，这两者我觉得并不一样。