Zailiang

天枢大规模分布式训练评测报告

1

天枢大规模分布式训练评测报告1. 简介本报告比较了多个深度学习框架在多个经典的深度学习模型训练任务上分布式训练的吞吐率、加速比、硬件使用率（如：GPU、CPU、内存、硬盘、网络等）。测试均采用相同的数据集、相同的硬件环境和算法，仅比较各个框架之间的速度差异。结果表明（期望结果）：分布式性能：在20台以上虚机或服务器组合时，线性加速比达到80%以上，与业界已有框架相比有突出的优势； 资源利用率：大规模分布式训练计算时，在各大典型任务上训练的硬件资源平均利用率不低于80%。 2. 背景介绍2.1 评测平台本次评测基于基于之江天枢平台，以下简要介绍平台使用流程：1）平台地址：zjlab.dubhe.club测试账号（详询俞再亮）2）选择资源总量（可扩容）当前可支持 1机1卡 -> 4机32卡单节点详细配置（单节点上限 8 卡）Tesla V100S-PCIE-32GB x 8Intel(R) Xeon(R) Gold 6248R CPU @ 3.00GHzMemory 754GUbuntu 18.04.5 LTS (GNU/Linux 4.4.0-142-generic x86_64)CUDA Version: 11.1, Driver Version: 460.73.01nvidia-smi topo...

[WIP] Add eye op

1

1. 用 ones 和 diag 拼成的 eye op：ones生成全1矩阵，再用diag保留对角线值，其他全为0，从而实现eye。 2. 测试脚本暂未跑通，待diag op的PR [PR4080](https://github.com/Oneflow-Inc/oneflow/pull/4080) 完成合并后，再完善此PR。