SASRec.pytorch icon indicating copy to clipboard operation
SASRec.pytorch copied to clipboard

指标问题??

Open BLUE811420 opened this issue 1 year ago • 3 comments

为什么SASrec和BERTrec在ml-1m数据集上的指标在各自论文中相差很大?评估方法我看论文中说的是一致的,请答复,谢谢

BLUE811420 avatar Mar 26 '24 13:03 BLUE811420

建议把两边代码都跑一遍实际测出来 ml-1m 的结果贴回来看看,请务必这样做,谢谢。

pmixer avatar Apr 12 '24 04:04 pmixer

这种以自己测试的为准吗

goodmanpzh avatar Sep 26 '24 12:09 goodmanpzh

这种以自己测试的为准吗

嗯,是的。细读每篇论文的话会发现各类设定(比如最后是给一个正样本配一百个负样本打分还是直接给所有物品打分)都不见得一样。论文里面通常是设定好自己的 baseline 条件(序列最大长度、负采样方法、负采样比例、评估指标),然后把所有模型放一起在这些条件下对比。

pmixer avatar Sep 26 '24 23:09 pmixer