Isotr0py

试试去掉 `--chat-template-content-format openai`？vLLM 应该是能自动识别chat template格式的

> ValueError: can only concatenate str (not "list") to str 一般这个报错就是 string 格式的 chat template 被当成 openai 格式的用了。你用的 vLLM 版本是多少？ > 我起初是没有这个参数的，报错是一样的，然后它报错提示有这个建议，我才添加上的，然后报错还是一样的 能提供一下复现用的 request 吗？我刚才在 v0.10.2 上用 OpenGVLab/InternVL3-78B 的 tokenizer...

Hmmm, 这就很奇怪了。我还是复现不出来这个报错。~~能否提供一下复现用的请求？~~ （看漏了，我再试试） 我启动服务的命令： ``` vllm serve OpenGVLab/InternVL3-8B-Instruct --limit-mm-per-prompt.image 2 --tensor-parallel-size 2 --trust-remote-code ``` Request: ``` from openai import OpenAI # Modify OpenAI's API key and API base to use...

> messages.append(messages_img) @YuanDaoze ~~你这里的 messages 是什么样的，我感觉这里应该写成 `messages.extend(messages_img)`~~

> 可以告诉我，你的环境和机器吗？我用的A800，可能无法支持更高的CUDA版本，用不了最新的vllm，我的vllm版本是0.8.5 我用的 vLLM 0.10.2 + CUDA12.6 + 两张 T4 卡。vLLM 0.8.5 有点老了，而且我们之前在0.9版本左右修过一些 chat template 上的 bug。🥲

@YuanDaoze 我试了一下上面的 message，应该是 system prompt 这一 part 出问题了： ``` { 'role': 'system', 'content': 'You are good at reasoning and problem solving. You need to help user choose the best reasoning...

Openai 格式下 vLLM 输进去 chat template 的 messsage 大概长这样： ``` [{'role': 'system', 'content': [{'type': 'text', 'text': 'You are good at reasoning and problem solving.'}]}, {'role': 'user', 'content': [{'type': 'text', 'text':...

> 谢谢，那么该如何解决这个问题呢？刚刚试了你的tokenizer的方法，但是模型似乎指令跟随能力下降了，无法输出标签？感觉很奇怪 试试换成 `--chat-template-content-format string`?

Test code (with CPU backend): ```python from vllm import LLM from vllm import SamplingParams llm = LLM("/data/LLM-model/persimmon-8b-chat", enforce_eager=True, max_model_len=4096) prompts = [ "human: Who was the first emperor of Rome?\nadept:",...

OK, I haven't finished the code for `fuyu-8B` yet, will add `fuyu.py` later.