NCL
NCL copied to clipboard
参数设置
proto_nce_loss = self.proto_reg * (proto_nce_loss_user + proto_nce_loss_item) 你好,请问在进行Contrastive Learning with Semantic Neighbors时,你的self.proto_reg这个参数设置得很小,请问有什么规律吗
您好,经过我们实验发现self.proto_reg较小时总体效果比较好,主要是由于原型对比不稳定导致的,其设置过大会影响训练
你好,作者。我想问一下,我的聚类中心设置很大时,还有控制对比学习权重参数设置很大时,训练过很多论之后,faiss这个库就会报错,训练中出现nan。这是为什么?
你好,作者。我想问一下,我的聚类中心设置很大时,还有控制对比学习权重参数设置很大时,训练过很多论之后,faiss这个库就会报错,训练中出现nan。这是为什么?
你好!我也不太确定原因,推测的话 faiss 确实不建议聚类中心特别多,印象里超过某个比例就会报 Warning;另外对比学习的权重很大时,可能 loss 的数值会比 BPR loss 的数值大很多倍,可能会有稳定性问题,建议可以逐个 epoch 打印一下几个 loss 的数值试试。