[BUG/Help] <模型并行问题>

[juemifuji]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

目前只支持了数据并行，使用8张A800，但是训练效率依然很低。 请问后续是否会推出模型并行+数据并行？

Expected Behavior

No response

Steps To Reproduce

目前只支持了数据并行，使用8张A800，但是训练效率依然很低。 请问后续是否会推出模型并行+数据并行？

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response