RecBole icon indicating copy to clipboard operation
RecBole copied to clipboard

请问自己划分的数据可以采用uni100评估方式吗?

Open zengxinran opened this issue 2 years ago • 1 comments

你好,recbole非常方便,但是我有一些困惑: 1.我自己划分的数据在评估时可以采用uni100评估方式吗?应该怎么使用呢? 2.使用benchmark_filename是不是eval_args不起作用?定义了'training_neg_sample_num',还会产生训练负例吗?

zengxinran avatar Apr 20 '22 07:04 zengxinran

@zengxinran 您好,感谢您的关注! benchmark_filename只影响数据集的划分,即eval_args的splitordergroup_by字段无效,其它参数还是可以起作用的。 因此,如果你想使用uni100测评,只需要设置:

eval_args:
  mode: uni100

此外,如果定义了training_neg_sample_num,仍然会产生训练负例。

Ethan-TZ avatar Apr 20 '22 09:04 Ethan-TZ