Efficient-Computing icon indicating copy to clipboard operation
Efficient-Computing copied to clipboard

DAFL超参数设置问题

Open bitxiaofeizhang opened this issue 3 years ago • 2 comments

您好,想请问您在celeb数据集上进行实验时,各loss的系数是如何设置。另外这些超参数的设置有什么技巧吗?谢谢。

bitxiaofeizhang avatar Nov 17 '21 02:11 bitxiaofeizhang

loss系数设置如下: --channels 3 --img_size 224 --batch_size 512 --lr_G 0.002 --lr_S 0.0001 --latent_dim 100 --oh 2 --ie 10 --a 0.1

超参数的设置可以通过grid search找到。

HantingChen avatar Dec 08 '21 09:12 HantingChen

dafl的训练似乎十分不稳定,同样的超参数设置,不同的随机数种子,结果差的很远 不设置随机数种子,精度能达到88以上,设置种子为12345以后,精度出现了下降 dafl_train 以上结果皆是运行在8卡机器,每个卡上的batch_size为128,总1024,损失的权重保持此仓库的默认设置。

Davidgzx avatar Apr 24 '22 03:04 Davidgzx

dafl的训练似乎十分不稳定,同样的超参数设置,不同的随机数种子,结果差的很远 不设置随机数种子,精度能达到88以上,设置种子为12345以后,精度出现了下降 dafl_train 以上结果皆是运行在8卡机器,每个卡上的batch_size为128,总1024,损失的权重保持此仓库的默认设置。

是的,训练不是很稳定

HantingChen avatar Mar 20 '23 08:03 HantingChen