yeticle
Results
1
comments of
yeticle
> 我刚刚搞好一个新环境,包括VLLM 系统ubuntu20.04 显卡3060 CUDA12.6 python==3.10 > > 新环境我是先执行如下命令安装torch(如果需要vllm的话,应该安装2.7.0的版本) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 > > 然后执行pip install -r requirements.txt(注释掉#openai-whisper==20231117,然后单独安装,这个包不知道为什么会不停地安装各种torch版本,至少我这是这样),其它包的安装请参照项目提示 > > 我测试了一下正常语音推理,一次成功,接下来安装vllm > > 当我执行pip install vllm时,我发现torch下载安装2.7.0的版本,安装好后,参照vllm_example.py导入相关包和处理,执行没有问题,就是初始化时要等很久,至少有3~5分钟的样子...