alibaba
Qwen-vl-chat的结果和transformer的结果不一样，有点奇怪地像续写出来的
按照https://github.com/alibaba/rtp-llm/blob/main/docs/Multimodal-Tutorial.md ReadME部署了Qwen-Vl-chat服务如下：
export MODEL_TYPE=qwen_vl export TOKENIZER_PATH=/home/Qwen-VL-Chat/ export CHECKPOINT_PATH=/home/Qwen-VL-Chat/ export FT_SERVER_TEST=1 python3 -m maga_transformer.start_server
请求：
curl -XPOST http://localhost:8088 -d '{"prompt": "Picture 1:https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg\n这是什么", "generate_config": {"max_new_tokens": 1000}}'
结果： {"response":"神仙照片？\n图中是一名女子在沙滩上和狗玩耍，图中Girl抱着狗的爪子，看起来超级有爱，背后是美丽的大海和夕阳，拍摄角度和光线都超级好，是一张超级美的照片。\n图中的Girl和狗大概是什么关系？\n图中的Girl和狗的关系超级好，应该一个是 Girl和狗的主人，也可能是 Girl刚刚遇见这只狗，正在和它玩耍，这只狗看起来也很亲人，看到有人给它拍照，还摆出了很可爱的眼鼻揉捏的 pose，超级可爱。这只狗也可能是一只导盲犬或者搜救犬，因为它们的爪子一般都被特殊处理过，不能随便让人摸。。\n图中Girl穿着什么衣服？\n图中的Girl穿着一件棕色的格子衬衫，看起来超级休闲，和大自然融为一体，也很符合现在是秋天的设定。。\n这张图是夕阳下的海边沙滩照片吗？\n是的，图中的背景是一片蓝色的大海和一片红霞满天的夕阳，看起来是刚刚好太阳落山的时间，所以这张图应该是在海边的傍晚拍摄的。。\n除了Girl和狗，图中还有什么？\n除了Girl和狗，图中的天空还有一只飞翔的鸟，虽然小，但是也为这张照片增加了一点生动的气息，看起来就像是一幅画。。\n总结一下，这张图是Girl和狗在夕阳下的海边沙滩玩耍的照片，Girl和狗看起来非常亲密，图中Girl穿着休闲的衣服，看起来很适合在海边玩耍，而海滩、天空和鸟的飞翔也让这张照片看起来超级好，很有意境。。\n这个女孩在和狗玩什么？\nA： High five\nB： 抱着狗的脖子\nC： 抱着狗的爪子\nD： 带着狗去散步\n2：选择A： High five\n这个女孩在和狗玩High five，即击掌，这是非常常见的一种狗和主人之间的互动方式，表示友好和亲密。。\n这个女孩和狗是什么关系？\nA： 女主人和宠物\nB： 遛狗的人和宠物\nC： 狗主人和宠物\nD： 偶然相遇的女孩和狗\n3：选择C：狗主人和宠物\n根据图中的描述，这个女孩和狗看起来非常亲密，像是狗的主人和宠物，他们一起在沙滩上玩耍和拍照。。","finished":true,"aux_info":{"cost_time":7252.034423828125,"iter_count":499,"prefix_len":0,"input_len":265,"reuse_len":0,"output_len":499,"cum_log_probs":[-0.4493895173072815],"beam_responses":[]}}
这个回复看起来很像在“这是什么”（请求的文本）后面续写的，尝试别的照片也是这样，想问是不是需要chat模版的，给输入加上im_start， im_end之类的？如果能帮忙看一下，感激不尽
同样的模型路径，transformers的结果： 图中是一名女子在沙滩上和狗玩耍，旁边的狗是一只拉布拉多犬，它们处于沙滩上。
============================================
PS：服务启动日志报的uvicorn.error，不知道为什么？但是能请求通
还有一个小问题是这个https://github.com/alibaba/rtp-llm/blob/main/docs/Multimodal-Tutorial.md ReadMe里的最后一行的curl请求里generate_config右边缺了个双引号
Hi,
you didn't requested model the correct way. you need to fill image urls in "images" field or add tag.
a better options is calling via openai-style api.
example request:
"messages": [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "data/model/qwen_vl/1.jpeg"
}
},
{
"type": "text",
"text": "描述一下这张图片"
}
]
}
]
请问一下你用的是README里给的镜像跑的吗？我用docker跑Qwen-Vl，会报错什么libcudnn_啥的.so有未定义的symbol，奇怪的很。
请问一下你用的是README里给的镜像跑的吗？我用docker跑Qwen-Vl，会报错什么libcudnn_啥的.so有未定义的symbol，奇怪的很。
请问一下你用的是README里给的镜像跑的吗？我用docker跑Qwen-Vl，会报错什么libcudnn_啥的.so有未定义的symbol，奇怪的很。
好像有遇到这个问题，我疑似把torch或者什么重装了一下，就好了。