5101good

Results 2 comments of 5101good

我试验了各种方法,也在本地V10卡+vllm部署测试了,依然是几乎必现的,验证指令(win):“在桌面上新建文本文档”。 同样的配置部署sft模型没有这个问题,dpo模型7b和72b都会出现输出异常: ![Image](https://github.com/user-attachments/assets/db89e397-35be-4648-97ec-41e700dec44f) 能否提供一下您的vllm和cuda版本以及GPU型号,还有启动推理框架的详细参数?

Qwen2.5VL确实优化很多,我甚至直接使用UI tars desktop接入Qwen2.5VL模型,修改提示词和坐标映射代码,都可以直接工作。期待新的版本