RecBole icon indicating copy to clipboard operation
RecBole copied to clipboard

【使用疑问】请问官方给出的超参数搜索的文档中,为什么都不对embedding_size进行搜索呢?

Open KingGugu opened this issue 2 years ago • 3 comments

很多模型都有embedding_size这个参数,例如GRU4Rec,但文档中给出的超参数搜索的范围,却没有对embedding_size这个参数进行搜索 image

请问是需要我们自行搜索吗(如果需要的话)?还是说默认的64一般就是最优的?

如果我需要搜索的话,是否可以这样添加一行 embedding_size choice [32,64,128,256]

KingGugu avatar Jun 22 '22 12:06 KingGugu

@KingGugu 关于超参数调节,官网也只是提供一个大概的范围,这个范围不一定是最优的,出于时间效率考虑也不一定按照给定的范围来调节。一般来说超参数调节的范围越大,得到的模型结果越好。

对于参数 embedding_dize,推荐系统论文中一般有两种处理方式,一种是所有模型都使用相同的参数,这个固定值往往是 64,RecBole 文档中也是这种方式;另一种是将 embedding_dize 作为可调节的超参数,并进行灵敏度分析和对比实验。

如果需要搜索的话,自然可以按照您的需求添加一行 embedding_dize 的范围。这些操作没有对错之分,主要在于使用者的研究需求。感谢您对 RecBole 的关注!

Sherry-XLL avatar Jun 23 '22 10:06 Sherry-XLL

好的,明白了,非常感谢! 最后想请问一下RecBole2.0大概什么时候上线呢?已经看到了论文,支持了很多新的模型,非常棒!

KingGugu avatar Jun 24 '22 02:06 KingGugu