JIANGHAIYANG

每个baseline中，每个数据集的参数都存在.py文件中，比如METR-LA.py文件中记录着这个数据集上使用的超参数，而这个文件又是直接投入到easy torch 的easytorch.launch_training中。如何在训练的时候寻找最优超参数呢？我把我自己设计的模型放入到了这个框架中，每次调参我都是手动修改.py文件中的参数，这样就效率非常低。请问有什么办法呢？

如何多卡训练

1

作者你好！我现在想用几个baseline模型在大规模数据集上测试，比如GBA和GLA。但是我在H100上测试的时候，有些baseline模型会out of memory，比如一些Transformer模型（Pyraformer）。那么请问，怎么设置多卡训练呢？（我使用的服务器上，每个节点有三个H100）是不是要在baselines/Pyraformer/GBA.py文件中加入一些设置呢？（这个文件是我后加的，在您原来的文件中没有这个GBA.py）