Yuxuan Zhang

icon indicating an email [email protected]

icon company ZhipuAI @THUDM @MetaGLM icon location China icon location I am interning at Zhipu AI @THUDM @MetaGLM , researching in LLMs, Agents, and Multimodal Models.

Results 356 comments of Yuxuan Zhang

Multi-GPU inference Error: RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:5 and cuda:6!

use `basic_demo/cli_demo_multi_gpus.py`

Multi-GPU inference Error: RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:5 and cuda:6!

设置成2个卡试试？

Multi-GPU inference Error: RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:5 and cuda:6!

每张显卡分配16G以上，最多三张卡

Multi-GPU inference Error: RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:5 and cuda:6!

> 一样的问题。8张P100，怎么都不行。 P100应该是驱动，算子的问题了，要寻找对应的xformers版本（如果有支持这个卡）

运行 cli_demo.py 报错 not found in your environment: triton

需要使用Linux 系统进行运行，windows无法安装这个包

pdf文档解析

结合langchain是一个办法，或者直接把pdf弄成图片进行识别

cuda版本

torch2.3.0+cu121尝试一下

cuda版本

那估计是你的硬件安装有问题了，我现在也是在这个环境下运行，目前没有办法提供镜像，不过可以在autodl或者其他这种网站租个pytorch镜像的A100验证一下，我们验证过是能跑通的

cuda版本

https://github.com/pytorch/pytorch/issues/119054 驱动太老的问题，确保你的硬件的驱动，triron，cuda版本能升到最新的版本

请问basic_demo/cli_demo_multi_gpus.py能降低单张gpu卡的要求吗？

可能是因为一个模块就超过了16G了，只测试了24G的卡