WeClone icon indicating copy to clipboard operation
WeClone copied to clipboard

50系显卡使用适应cuda128的pytorch2.8导致浏览器推理vllm/_C.abi3.so报错

Open OvercloudX opened this issue 6 months ago • 1 comments

环境如下:

系统:WSL2 + Ubuntu

显卡:RTX 5070 Ti

CUDA:12.8(nightly)

Python:3.10(用 .venv 和 uv 管理)

运行weclone-cli webchat-demo时发现报错核心: ImportError: /home/overcloud/dev/WeClone/.venv/lib/python3.10/site-packages/vllm/_C.abi3.so: undefined symbol: _ZN5torch3jit17parseSchemaOrNameERKSsb

Chatgpt给出解释(存疑): vllm 的底层 C++ 扩展模块 vllm/_C.abi3.so 是为 旧版本 PyTorch 编译的;

你现在安装的是 torch==2.8.0.dev... 的 Nightly 新版本;

新版 PyTorch 的 C++ ABI 中 不再包含 parseSchemaOrName 这个函数;

所以动态链接时报错了,vllm 无法工作,所有依赖它的功能(如 webchat-demo)都不能运行。

OvercloudX avatar Jun 09 '25 23:06 OvercloudX

vllm只有清洗数据用到了啊,你把他卸载了应该就可以了

xming521 avatar Jun 10 '25 00:06 xming521

vllm只有清洗数据用到了啊,你把他卸载了应该就可以了

okok这样确实可以,同时我还发现50系显卡可以用uv pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128 这是pytorch 2.7.1稳定版本,同时支持vllm 0.9.1和50系显卡所需的cuda

OvercloudX avatar Jun 10 '25 20:06 OvercloudX