DFGN-pytorch icon indicating copy to clipboard operation
DFGN-pytorch copied to clipboard

Published 20 hours ago • verified publisher icon woshiyyya

数据长度的问题

Open chenyangjun45 opened this issue 4 years ago • 1 comments

现在的max_seq_length是512，但是我看原始数据，一个问题下的所有paras拼接起来都是大于512的，按512截断的话，会不会把answer位置给截下来了？我看代码里超过512的只有截断，是吧？对于长度超过512的文本，有没有什么好方法处理一下？

chenyangjun45 avatar Jul 27 '20 02:07 chenyangjun45

补充：doc_tokens是question+后面接问题下所有相关文章的文本，是吧？

chenyangjun45 avatar Jul 27 '20 02:07 chenyangjun45