kailly_76a
kailly_76a
我也有类似问题，并发跑一段时间后请求就会阻塞住，显存是正常占用的
> 都是什么引擎？ 我用的是vllm
> > > 都是什么引擎？ > > > > > > 我用的是vllm > > vllm 有没有出现 crash 的情况？可能是 vllm 已经死掉了，自动恢复没有起作用。 这个要怎么验证下是vllm出问题了，日志里是没有打印vllm崩溃的
> 简单来说，两次，每次5个请求，第二次会卡住？ @qinxuye 对的，现象是这个
> 简单来说，两次，每次5个请求，第二次会卡住？ @qinxuye 补充一下，流式请求不会有这个现象，非流式才会有
> > > 我单次请求3张图片或以上就出错，就解决方法 > > > > > > 简单来说，两次，每次5个请求，第二次会卡住？ > > > > > > > > > > > > > > > [@qinxuye](https://github.com/qinxuye) 补充一下，流式请求不会有这个现象，非流式才会有 > >...
> > > 简单来说，两次，每次5个请求，第二次会卡住？ > > > > > > [@qinxuye](https://github.com/qinxuye) 补充一下，流式请求不会有这个现象，非流式才会有 > > 有点奇怪。我们排查下。 这个你们有复现吗，我也感觉挺奇怪的，会不会非流式处理哪里有问题
@qinxuye 这个有定位到什么问题吗，我是在容器里面手动更新了vllm的版本，pip install vllm==0.7.3，会是版本有冲突吗
@qinxuye 我发现这个复现不用这么麻烦，qwen2-vl系列也有这个问题。只要5并发非流式请求，请求里带张稍微大点的图片，第二轮请求就会全部堵塞住
> 最新的版本加上了图片的 max_pixels 的限制，不知道是否有影响。等新版出来再试下？ @qinxuye 试了下新版本，还是会有这个问题