HAMi icon indicating copy to clipboard operation
HAMi copied to clipboard

请问是否支持异构设备共享

Open wJunjie-1995 opened this issue 1 year ago • 1 comments

是否支持异构设备共享,即

  1. 单个任务使用相同厂商但不同芯片的显卡进行训练/推理(如同时使用1张V100和1张H100进行训练)?
  2. 或者单个任务使用不同厂商的卡进行训练/推理(如使用1张V100+1张910B进行训练)?

wJunjie-1995 avatar Sep 25 '24 08:09 wJunjie-1995

单个任务使用相同厂商但不同芯片的显卡进行训练/推理(如同时使用1张V100和1张H100进行训练)?

If both NVIDIA GPUs are on the same node, then it's supported.

单个任务使用不同厂商的卡进行训练/推理(如使用1张V100+1张910B进行训练)?

Not supported.

Usually, frameworks like TensorFlow and PyTorch, along with their related Python libraries, are designed to work in homogeneous environments where at least the hardware vendors are the same to function properly. I'm a bit confused about the second scenario.

Nimbus318 avatar Sep 25 '24 11:09 Nimbus318