模型的参数如何优化

[goodlucky111]

预测效果不佳，超参数如何优化呢，只能逐个实验吗？

[1348598339]

我也有这个问题，我是用的sklearn库里的RandomizedSearchCV()函数随机优化，但是在后面拟合fit()函数的时候出现了TypeError: fit() takes from 2 to 3 positional arguments but 5 were given的问题，fit()输入和exp_informer.py文件里Exp_Informer类中 _process_one_batch函数里给model输入的数据相同，不知道是不是数据输入还是有问题，你现在是有在用什么方法优化吗，请教一下

[gaochonghan]

可以借助wandb。另外根据我们的经验，比较重要的参数是weight decay, lr, 和模型规模相关参数（d_model, ...)

[gaochonghan]

@1348598339 您的问题我已经在 #481 回复了

[wisest-cui]

可以借助wandb。另外根据我们的经验，比较重要的参数是weight decay, lr, 和模型规模相关参数（d_model, ...)

非常感谢您的回答！ 我使用wandb进行训练过程可视化。但依然没有取得很好的效果。 data:ETTh1 model：informer seq_len:96 label_len:48 pred_len:24 使用wandb可视化了大约三十多组数据，主要测试的参数为

• 'd_model': [1024,512, 256,128]
• 'n_heads': [2,4,8,16]
• 'e_layers': [1,2,3]
• 'd_layers': [1,2,3]
• 'factor': '[3,4,5,6,7,8]
• 'dropout':[0.05,0.10,0.2,0.3,0.4]
• 'embed': ["timeF", "fixed", "learned"]
• 'mix': [True,False]
• 'train_epochs': [4,6,8,10,15,20]
• 'learning_rate': [0.0001,0.001,0.005,0.01,0.05,0.1] 最终测得最好的mse score 在0.53左右，但是论文声称的分数可以到0.2以下。我完全复现不出这样的结果。 所以我想请教一下您设置的具体参数是多少呢？

[goodlucky111]

可以借助wandb。另外根据我们的经验，比较重要的参数是weight decay, lr, 和模型规模相关参数（d_model, ...)

非常感谢您的回答！ 我使用wandb进行训练过程可视化。但依然没有取得很好的效果。 data:ETTh1 model：informer seq_len:96 label_len:48 pred_len:24 使用wandb可视化了大约三十多组数据，主要测试的参数为

• 'd_model': [1024,512, 256,128]
• 'n_heads': [2,4,8,16]
• 'e_layers': [1,2,3]
• 'd_layers': [1,2,3]
• 'factor': '[3,4,5,6,7,8]
• 'dropout':[0.05,0.10,0.2,0.3,0.4]
• 'embed': ["timeF", "fixed", "learned"]
• 'mix': [True,False]
• 'train_epochs': [4,6,8,10,15,20]
• 'learning_rate': [0.0001,0.001,0.005,0.01,0.05,0.1] 最终测得最好的mse score 在0.53左右，但是论文声称的分数可以到0.2以下。我完全复现不出这样的结果。 所以我想请教一下您设置的具体参数是多少呢？

您好，可以发一下wandb结合这个项目的实现代码吗，不太会使用

[ezelanza]

可以借助wandb。另外根据我们的经验，比较重要的参数是weight decay, lr, 和模型规模相关参数（d_model, ...)

非常感谢您的回答！ 我使用wandb进行训练过程可视化。但依然没有取得很好的效果。 data:ETTh1 model：informer seq_len:96 label_len:48 pred_len:24 使用wandb可视化了大约三十多组数据，主要测试的参数为

• 'd_model': [1024,512, 256,128]
• 'n_heads': [2,4,8,16]
• 'e_layers': [1,2,3]
• 'd_layers': [1,2,3]
• 'factor': '[3,4,5,6,7,8]
• 'dropout':[0.05,0.10,0.2,0.3,0.4]
• 'embed': ["timeF", "fixed", "learned"]
• 'mix': [True,False]
• 'train_epochs': [4,6,8,10,15,20]
• 'learning_rate': [0.0001,0.001,0.005,0.01,0.05,0.1] 最终测得最好的mse score 在0.53左右，但是论文声称的分数可以到0.2以下。我完全复现不出这样的结果。 所以我想请教一下您设置的具体参数是多少呢？

Hello, could you please share your code for Wandb implementation? Thanks!