WSDM2021_NSM icon indicating copy to clipboard operation
WSDM2021_NSM copied to clipboard

about q_input

Open sitaocheng opened this issue 3 years ago • 2 comments

你好,我试图尝试不同的q_input (basic_dataset中的query_text)对实验结果的影响。遇到如下问题:

我发现: 在NSM/data/basic_dataset.py文件中调用_prepare_dep函数会将训练数据的.dep文件的依存结果解析出来,但是query_text只取了每个token,相当于直接取问句的每个token。

改动: 注释掉_prepare_dep函数的调用,在_prepare_data函数中直接解析问句(question)的token,来构造query_text(这部分原来是被注释的)。

结果: 经过上述改动,NSM, NSM+h teacher的测试F1 H1都下降了2%, NSM+h student也下降了一些。

问题: 想问一下训练数据.dep中的依存树对结果是否有直接影响,如果有,是在什么位置产生影响?

感谢!

sitaocheng avatar Mar 17 '22 03:03 sitaocheng

应该是无影响的, 你可以尝试将两者输出到文件进行对比,看看是否标点符号处理不同之类

RichardHGL avatar Mar 17 '22 08:03 RichardHGL

好的谢谢~

sitaocheng avatar Mar 17 '22 08:03 sitaocheng