dddddjcole

谢谢您的回答，我这边数据出现很多部分字重叠，但其实那部分字在整个关键词中是不重要的，导致相似度很高，这部分我该做什么优化，目前我采用用gpt辅助标注，正样本和负样本，再进行训练。我需要训练那个重排序的那个模块吗，还是对模型进行一个微调。

你好，目前微调发现模型对一些我关注的词并不敏感，微调以后对一些样例有改变，但是感觉学习不到语义上规律，遇到类似的检索词，还是会犯同样的错误，微调使用数据集质量也很难把控，词的覆盖面也不够（不能穷尽），是否可以通过增量预训练来解决这一问题，如果可以的话，数据集上面有什么建议吗，

> ation生成 你好，请问attention_mask为啥是seq*seq，每次只用生成一个token然后拼接上去，继续自回归吗？为啥要搞这么多attention_mask。我一开始以为只有训练的时候attention_mask会这样，这样每一次预测任务query+target1 = target2，query + target1 +target2 = target3... 这种类型