RecBole icon indicating copy to clipboard operation
RecBole copied to clipboard

[💡SUG] RecBole里提供的模型参数,是默认调优过的吗?

Open Ocxs opened this issue 8 months ago • 6 comments

在recbole/properties/model路径下,有所有模型的config,请问这些config是默认经过调优后的参数吗?

如果不是,后续RecBole有计划在一些常用的dataset上,调优并公开参数和结果吗?比如我在看一些关于sequential recommendation的paper,即便同一份数据集,同一个评估策略(leave-one-out+full rank),同一个模型,同一个指标,都会有diff,也不知道大家在对比的时候,到底是怎么调优的。我觉得可以固定几个数据集(比如Amazon dataset),然后固定评估策略(比如leave-one-out+full rank),然后来评估所有sequential recommendation 方法,搞出一个榜单。这样后续大家的baseline都可以对齐了。

Ocxs avatar Dec 18 '23 10:12 Ocxs