attentional_factorization_machine icon indicating copy to clipboard operation
attentional_factorization_machine copied to clipboard

关于AFM不能复现论文实验结果

Open LBJ66 opened this issue 7 years ago • 5 comments

何老师,您好!我在使用这份代码的时候,对于FM可以复现出论文的结果;但对于AFM,目前在val上取得的最好RMSE为 0.4639,对应参数为:--epoch 100 --pretrain 1 --batch_size 4096 --hidden_factor [8,256] --keep [1.0,0.5] --lamda_attention 2.0 --lr 0.01 --batch_norm 0,而论文中得到的最好RMSE为0.433左右,请问我有哪些地方处理得有问题吗?

LBJ66 avatar Oct 05 '18 12:10 LBJ66

pretrain之后也没打到论文上的0.4325,望告知

cike14 avatar Oct 23 '18 06:10 cike14

pretrain之后也没打到论文上的0.4325,望告知

你好,很抱歉目前当时实验所用的环境已丢失,暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数, batch_size改为2048,lambda_attention改为32时,启用pretrain后ml-tag上RSME可以达到0.4375,不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

hexiangnan avatar Oct 23 '18 14:10 hexiangnan

何老师,您好!我在使用这份代码的时候,对于FM可以复现出论文的结果;但对于AFM,目前在val上取得的最好RMSE为 0.4639,对应参数为:--epoch 100 --pretrain 1 --batch_size 4096 --hidden_factor [8,256] --keep [1.0,0.5] --lamda_attention 2.0 --lr 0.01 --batch_norm 0,而论文中得到的最好RMSE为0.433左右,请问我有哪些地方处理得有问题吗?

你好,很抱歉目前当时实验所用的环境已丢失,暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数, batch_size改为2048,lambda_attention改为32时,启用pretrain后ml-tag上RSME可以达到0.4375,不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

hexiangnan avatar Oct 23 '18 14:10 hexiangnan

pretrain之后也没打到论文上的0.4325,望告知

你好,很抱歉目前当时实验所用的环境已丢失,暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数, batch_size改为1024,lambda_attention改为32时,启用pretrain后ml-tag上RSME可以达到0.4391,不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

好,谢谢老师

cike14 avatar Oct 23 '18 14:10 cike14

pretrain之后也没打到论文上的0.4325,望告知

你好,很抱歉目前当时实验所用的环境已丢失,暂时无法完全复现。我让当时负责实验的同学稍微重新tune了一下参数, batch_size改为1024,lambda_attention改为32时,启用pretrain后ml-tag上RSME可以达到0.4391,不过和当时实验出的0.4325左右还是有一定差距。推测原因可能和tensorflow版本以及pretrain模型的质量有关系。我们这边尽可能找回当时实验所用的pretrain模型再试试。

我想再请问下,这个AFM中的二次交叉项与FFM中的二次交叉有什么区别吗

cike14 avatar Oct 23 '18 14:10 cike14