tf_repos icon indicating copy to clipboard operation
tf_repos copied to clipboard

DeepFM效果比FNN差

Open WLCOOLONGS opened this issue 7 years ago • 1 comments

你好,非常感谢能提供相关CTR训练模型代码,在我的实验结果上DeepFM 比FNN在千分位低5个百分点,理论上讲不应该是高吗,希望可以给出意见,谢谢

WLCOOLONGS avatar Jul 06 '18 01:07 WLCOOLONGS

这个问题不太好定位具体的原因。在训练样本相同的情况下,至少还有两个因素值得探讨: #1 模型capacity 模型的学习/表达能力,能学多少 #2 trainability 可训练性,这是一个优化问题,能不能找到一个“好”的解;很多模型架构的表达能力都是同等的,性能上的差异都是由于某些结构比其他架构更容易优化导致的。

你说的理论上更高,应该指的是DeepFM的表达能力更强;但是可训练性问题也是客观存在的,比如调参。当然,也不排除代码有bug。 PS:有同学反馈FM part输出K为向量与Deep-part concat起来送入输出层有进一步提升。

lambdaji avatar Jul 09 '18 11:07 lambdaji