fajieyuan

说明你的预测代码有问题，因为微调没有问题，但是你predict有问题，那你需要检查是不是input有问题或者ID映射问题，或者其他代码code。 ***@***.***可能是0，但是微调是0.3，很明显是predict出错了，你也可以打印一下微调阶段测试结果，应该不是这个样子 从 Windows 版邮件发送 发件人: ***@***.***> 发送时间: 2022年6月2日 15:12 收件人: ***@***.***> 抄送: ***@***.***> 主题: [fajieyuan/SIGIR2020_peterrec] 微调模型预测结果一样 (Issue #12) ***@***.***； ***@***.***，基本两个epoch就停止收敛了； 然后使用微调的模型对预训练的数据进行top-k预测，发现不管输入啥top-k的结果都是一样的，如下所示几个seq的top-50结果： [image] 想请教一下，这个可能是什么原因造成的呢，毕竟微调的指标已经接近论文中的0.33了； 非常感谢。 ― Reply to this email...

可以按照我论文的超参数设置，是否可以得到论文的指标。如果是的话你可以在我的代码框架上输出top-k，肯定不是都一样的，如果都是一样的，指标不可能很高。 从 Windows 版邮件发送 发件人: ***@***.***> 发送时间: 2022年6月2日 15:58 收件人: ***@***.***> 抄送: Fajie YUAN ***@***.***>; ***@***.***> 主题: Re: [fajieyuan/SIGIR2020_peterrec] 微调模型预测结果一样 (Issue #12) 说明你的预测代码有问题，因为微调没有问题，但是你predict有问题，那你需要检查是不是input有问题或者ID映射问题，或者其他代码code。 @.可能是0，但是微调是0.3，很明显是predict出错了，你也可以打印一下微调阶段测试结果，应该不是这个样子 从 Windows 版邮件发送 发件人: @.> 发送时间:...

你是说我的代码有bug？ 从 Windows 版邮件发送 发件人: ***@***.***> 发送时间: 2022年6月2日 18:36 收件人: ***@***.***> 抄送: Fajie YUAN ***@***.***>; ***@***.***> 主题: Re: [fajieyuan/SIGIR2020_peterrec] 微调模型预测结果一样 (Issue #12) 找到原因了，block中有两次ReLU操作，inputs经过(conv + ln+ relu ) *2的block后，输出基本是0，导致最终输出cls_token的embedding基本等于输入cls_token的embedding，与训练后的item-embedding的相乘预测结果可不就是几乎一样么= = [image:...

我没记错的话mrr_5应该是0.047左右，按照论文提供的超参数应该是可以得到这个值的，建议看下是否converge

我记得代码会隔一段时间打印accuracy，采用accuracy判断更可靠些。请核对一下相关超参数跟论文中是否有出入，100个batch肯定不行，可以算一下总样本有多少，100个batch可能还不到总样本的十分之一，至少需要pre-train 10个小时以上

demo写法主要是未来让刚学习这个算法的同学好理解，可以的，pre-train可以包含更多的用户，finetune可以仅仅其中一部分用户，建议写个词典对应准确就可以，不要错位，我代码是最简单的写法，主要是为了好读

> 感谢原教授~我的实验复现成功了~ > 然后，这可能是另一个问题：为什么demo数据里的pretrain和finetune数据都是一一对应的？如果在pretrain时加入更多在target domain没有交集用户的数据，对系统整体性能会有什么影响？ demo写法主要是未来让刚学习这个算法的同学好理解，可以的，pre-train可以包含更多的用户，finetune可以仅仅其中一部分用户，建议写个词典对应准确就可以，不要错位，我代码是最简单的写法，主要是为了好读

就是这个意思。我为了使用简单就没有加userID，别对错号 从 Windows 版邮件发送 发件人: ***@***.***> 发送时间: 2022年5月11日 15:45 收件人: ***@***.***> 抄送: Fajie YUAN ***@***.***>; ***@***.***> 主题: Re: [fajieyuan/SIGIR2020_peterrec] Pretrain performance? (#5) hello, 这里提到的词典对应、不要错位是啥意思？我理解finetune的user ids应该是pre-train用到的user ids的子集即可？ ― Reply to this...

Hi it is not a bug. If I remember correctly, negtive_samples means the index of the target item.

the last index 99 is always the target item,