adoda

[email protected]

Results 6 comments of


                                            adoda

[PRD] Bounded Dynamic Shape Design for `PyTorch` & `PyTorch/XLA`

👍, Is there an update for Bounded Dynamic Shape? When can we run an example ？

Problem of Data Parallel Model, program didn't end when reached global step

Could you provide a example and your script?

关于EPL作为开源的、统一了多种并行策略、灵活易用的自研分布式深度学习训练框架。

会有pytroch版本，当前阿里云上已经可以使用：TorchAcc，不过开源时间还待定。

2机2卡实验NCCL报错

为什么两个worker的index都是0，2机应该一个是0，一个是1。

epl单机单卡和单机多卡训练step如何理解

现在配置的batch_size是batch_size/GPU，global_batch_size = batch_size*gpu_num 数据量不变，增大gpu个数，一个epoch跑的step会线性减少。

2台服务器分布式跑example中的resnet_split.py遇到无限等待的情况

可以看看GPU利用率，是否已经开始训练了。