RecBole
RecBole copied to clipboard
RUCAIBox
[💡SUG] RecBole里提供的模型参数，是默认调优过的吗？
在recbole/properties/model路径下，有所有模型的config，请问这些config是默认经过调优后的参数吗？
如果不是，后续RecBole有计划在一些常用的dataset上，调优并公开参数和结果吗？比如我在看一些关于sequential recommendation的paper，即便同一份数据集，同一个评估策略（leave-one-out+full rank），同一个模型，同一个指标，都会有diff，也不知道大家在对比的时候，到底是怎么调优的。我觉得可以固定几个数据集（比如Amazon dataset），然后固定评估策略（比如leave-one-out+full rank），然后来评估所有sequential recommendation 方法，搞出一个榜单。这样后续大家的baseline都可以对齐了。
@Ocxs 您好！ 我们的默认参数一般为MovieLens数据集上的最优超参，另外，我们在官网上提供了关于超参调节的一些参考，希望对您有帮助。
您好，我看recbole/properties/mode下的config的值是和您官网提供的超参调节的一些参考不太一样，具体以哪一个为准呢？如果想在movielens-1m数据集上跑baseline，可以直接用recbole/properties/mode下的config跑吗？
@kmr666 您好！ 如果只是简单尝试建议直接使用默认参数即可，如果需要精确的最优效果可以进行进一步的超参数搜索。
您好，非常感谢您的解答，请问如果想在ml-1m上跑recbole模型作为baseline，看您提到默认参数一般为MovieLens数据集上的最优超参，是否可以直接用properties下给的默认参数呀？
@kmr666 您好！ 如果作为学术研究中的baseline建议进行超参数搜索，因为我们在进行实验时的实验设置可能存在差异，这会造成最优参数的变化。