BasicTS icon indicating copy to clipboard operation
BasicTS copied to clipboard

Published 20 hours ago • verified publisher icon GestaltCogTeam

如何多卡训练

Open Jianghaiyang0729 opened this issue 8 months ago • 1 comments

作者你好！我现在想用几个baseline模型在大规模数据集上测试，比如GBA和GLA。但是我在H100上测试的时候，有些baseline模型会out of memory，比如一些Transformer模型（Pyraformer）。那么请问，怎么设置多卡训练呢？（我使用的服务器上，每个节点有三个H100）是不是要在baselines/Pyraformer/GBA.py文件中加入一些设置呢？（这个文件是我后加的，在您原来的文件中没有这个GBA.py）

Jianghaiyang0729 avatar Jun 01 '24 10:06 Jianghaiyang0729