Yupeng Hou
Yupeng Hou
你好，抱歉这么晚回复，请问问题解决了吗？感觉可能是 PyTorch 版本和 RecBole 版本有一些不一致。
Hi, thanks for your attention to this survey! Several weeks ago, we released one new version in Chinese [[link]](https://llmbook-zh.github.io/), covering new topics and discussions. In the following months, we will...
感谢发现这个 bug！您可以参考 #10 的修正。 ```diff def load_plm(model_name='bert-base-uncased'): tokenizer = AutoTokenizer.from_pretrained(model_name) - model = AutoModel.from_pretrained('/mnt/zhangjunjie/bert-base-uncased') + model = AutoModel.from_pretrained('bert-base-uncased') return tokenizer, model ```
您好，请问您运行时的脚本命令是？
我直接 clone 项目重装环境后，按照下述脚本 ```bash python evaluate.py -m SASRec -d Games -p pretrained_models/SASRec-Games.pth ``` 得到结果为 ``` 02 Nov 00:55 INFO test result: OrderedDict([('recall@1', 0.525), ('recall@5', 0.865), ('recall@10', 0.94), ('recall@20', 1.0), ('recall@50',...
要不对一下模型文件是否一致？在 Linux 服务器上测 md5： ```bash md5sum SASRec-Games.pth 985efba355d24cc169cb07e2d1fa2ef5 SASRec-Games.pth ``` 在 macOS 上刚刚又下载了一份，测 md5： ```bash md5 SASRec-Games.pth MD5 (SASRec-Games.pth) = 985efba355d24cc169cb07e2d1fa2ef5 ```
您的 `Games.random` 是重新生成的吗？还是直接用项目自带的？ 以及您的 PyTorch 和 RecBole 库的版本是？
我一方面建议把 recbole 降级到 1.1.1 试一下，因为我自己也还没测过 1.2.0 版本。 另一方面因为不清楚您数据处理的细节，建议直接解压 `llmrank/dataset/Games/Games.inter.zip` 来获得 `Games.train.inter` 文件。
是的，因为您的 test 文件对 item 的编码，和 `Games.random` 中对 item 的编码是不一致的，所以确实就相当于随机。 这一行应该不太能删，会导致训练数据少一个 interaction，不过影响的不是这个结果。本 issue 讨论的问题还是因为 `Games.test.inter` 和 `Games.random` 编码不一致的问题
因为预训练模型的编码和您的 test.inter 是不一致的，肯定结果也是随机的