NCL icon indicating copy to clipboard operation
NCL copied to clipboard

早停策略请教

Open ahukmr opened this issue 1 year ago • 4 comments

作者你好,我看文章中写的实验采用的早停策略是10代早停,请问是所有实验包括对比算法都是用10代早停吗,因为我看lightgcn和ngcf论文中早停设置的是50代停,请问作者在实验中的早停是所有实验都统一设置为10吗?不同的早停代数会不会对结果有影响呢?

ahukmr avatar Jan 11 '24 07:01 ahukmr

您好,是的我们所有对比算法都是 10 epochs 早停。

其实这是个好问题,严格意义讲 10 epochs 早停会对那些收敛速度更快的算法有利。但是在本文的实验中,我们观察到用 RecBole 实现的这些 baseline 方法基本 10 epochs 早停就差不多收敛了,为了控制成本我们选择对所有方法都采用 10 epochs 得早停。我们推测 50 epochs 可能会让超参调优的绝对结果产生些微差异,但是对整体的趋势和结论应该没影响。

hyp1231 avatar Jan 11 '24 07:01 hyp1231

非常感谢您的解答,还有个小问题,就是请问你们处理的yelp和amazon-book数据集是用的哪个版本呀?我在recbole的百度网盘中发现了多个版本,我试了2018版的,用的你论文中给出的配置,但是得到的数据和论文中统计的结果不一样,例如我用的yelp2018,参数配置是load_col: inter: [user_id, item_id, rating] ITEM_ID_FIELD: item_id RATING_FIELD: rating

user_inter_num_interval: "[15,inf)" item_inter_num_interval: "[15,inf)" val_interval: rating: "[3,inf)" 得到是统计结果是 image

image 想请问你们的yelp和amazonbook数据集具体用的是哪个版本呀,在百度网盘可以直接下载处理好的吗?以及参数过滤配置是多少可以提供吗?期待您的解答!

ahukmr avatar Jan 11 '24 07:01 ahukmr

您好,根据 readme,如果您正常运行 python main.py --dataset yelp 就会自动下载数据集,且自动调用 properties/ 下面的配置文件进行数据预处理。

yelp 下载的是没有年份后缀的那个 yelp.zip,对应的是 2020 版本的。Amazon book 也是同理,默认下载的是无年份后缀的 2014 版本。

我刚刚运行了一下,统计和论文里是都可以对的上的。

image image

hyp1231 avatar Jan 11 '24 08:01 hyp1231

非常感谢您的解答,谢谢!

ahukmr avatar Jan 11 '24 14:01 ahukmr