对Qwen1.5以上模型使用vllm加速推理依赖问题

[xqxls]

linux环境下，对Qwen1.5以上模型使用vllm加速推理，需要vllm版本在0.3.0以上，我看vllm==0.3.3用的人比较多，有没有vllm==0.3.3对应的requirements.txt文件，目前用vllm==0.3.3会有各种python包依赖冲突

[dosubot[bot]]

对于使用vllm版本0.3.3时遇到的Python包依赖冲突问题，建议您尝试创建一个虚拟环境，并在该环境中安装项目的依赖项，以避免冲突。您可以按照以下步骤操作：

1. 克隆Langchain-Chatchat仓库：

git clone https://github.com/chatchat-space/Langchain-Chatchat.git

2. 进入仓库目录：

cd Langchain-Chatchat

3. 安装所有依赖项：

pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt  

请注意，如果您想使用milvus/pg_vector等向量库，请在安装前修改requirements.txt文件中相应的依赖项。

此外，如果您能提供更多关于具体的Python包依赖冲突细节，我可能能提供更有针对性的帮助。

Details

Sources

• 对Qwen1.5以上模型使用vllm加速推理依赖问题
• README_en.md
• configs/model_config.py.example

About Dosu This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

To continue the conversation, mention @dosu.

[github-actions[bot]]

这个问题已经被标记为 stale ，因为它已经超过 30 天没有任何活动。