Efficient-Computing
Efficient-Computing copied to clipboard
DAFL超参数设置问题
您好,想请问您在celeb数据集上进行实验时,各loss的系数是如何设置。另外这些超参数的设置有什么技巧吗?谢谢。
loss系数设置如下: --channels 3 --img_size 224 --batch_size 512 --lr_G 0.002 --lr_S 0.0001 --latent_dim 100 --oh 2 --ie 10 --a 0.1
超参数的设置可以通过grid search找到。
dafl的训练似乎十分不稳定,同样的超参数设置,不同的随机数种子,结果差的很远
不设置随机数种子,精度能达到88以上,设置种子为12345以后,精度出现了下降
以上结果皆是运行在8卡机器,每个卡上的batch_size为128,总1024,损失的权重保持此仓库的默认设置。
dafl的训练似乎十分不稳定,同样的超参数设置,不同的随机数种子,结果差的很远 不设置随机数种子,精度能达到88以上,设置种子为12345以后,精度出现了下降
以上结果皆是运行在8卡机器,每个卡上的batch_size为128,总1024,损失的权重保持此仓库的默认设置。
是的,训练不是很稳定