关于测试集里面是否含有usr/item prf的疑问

[The-kamisato-Sii]

我对你们的工作很感兴趣！我借用了你们的项目尝试了下现在流行的一些多模态表征融入的方法。我发现加入了这些方法之后，在验证集上的效果都比不加多模态表征的情况要好，但是在测试集上却大大不如验证集。我看了下github issue。如果都是3:1:1取的，难道在验证集和测试集的效果应该差不多吗？还是说测试集上没有多模态的表征但是验证集上有，所以才导致了这种情况？

[Re-bin]

嗨，你好👋！

感谢对RLMRec的关注，验证集和测试集的区别只是不同的user-item interactions，这些都是随机划分的，验证集和测试集会有由于测试样本的不同导致的性能差异，它们并没有涉及多模态的表征。

我猜测您遇到的情况可能是由于不同的多模态表征融入方法可能存在有性能稳定性的差异，导致的效果浮动。同时，模型训练的标准流程是依据模型在验证集上的效果来判断收敛并选取最优的模型参数，而后才在测试集上测试最终效果，因此自然其在验证集上的效果会有所优势。

希望上述回复能帮助到您：）

Best regards, Xubin