MRC_Competition_Dureader icon indicating copy to clipboard operation
MRC_Competition_Dureader copied to clipboard

第一步的数据预处理主要作用?

Open shawroad opened this issue 4 years ago • 4 comments

不好意思。 打扰了。 后面的bert训练知道 但是不知道你最初为什么要来一个抽取,这里主要抽取具体是想干什么? 感觉处理过的数据貌似跟原始数据没啥差别。。

shawroad avatar Feb 06 '20 07:02 shawroad

是不是将篇章中的每句与问题进行相似度比对,然后将重要的句子提取出来。相当于把文章的长度缩短了,去除了部分冗余的部分。???

shawroad avatar Feb 06 '20 11:02 shawroad

是的,对段落进行召回:1、缩短长度;2、使文章信息更密集

luhua-rain avatar Feb 07 '20 05:02 luhua-rain

谢谢了。

shawroad avatar Feb 07 '20 05:02 shawroad

请问您讲的“对段落进行召回:1、缩短长度;2、使文章信息更密集”,指的是哪个比赛任务哪个文件的代码呢,我在main 里面关于dureader的好像没找到。

aaronvvv avatar Jul 06 '21 20:07 aaronvvv