ReChorus
ReChorus copied to clipboard
evaluate质疑
感谢提供如此优异的框架,非常易懂易用! 但是有几个问题:
- 划分方式通常也可以比如8:1:1,但是ReChorus框架似乎只适合于序列型?
- 因为1的问题,导致evaluate的指标计算也仅适用于ground-truth物品只有1个的情况,这显然是不足的。
- evaluate指标还有非常多,是否拆开为模块写,而不是混在一起会不会更好
相比于RecBole,ReChorus将数据集单独预处理确实是更好的方式。
以及以BPR为例,为什么会存在randomly shuffle the items to avoid models remembering the first item being the target这种情况? 或者说为什么要随机打乱物品顺序?似乎网络计算和这个顺序没关系?也不存在记忆一说
感谢您的关注和提问!我们在近期升级到了ReChorus2.0版本,目前关于评测,我们已能支持自定义的各类划分方式,并支持ground truth有多个物品的评测,以及基于label的评测。
关于存在randomly shuffle the items to avoid models remembering the first item being the target这种情况,对于一般的网络计算没有影响,只是为支持特殊模型进行了调配,具体请参照issue:https://github.com/THUwangcy/ReChorus/pull/44