数据增强问题

[bugmaker00]

作者您好，感谢分享！ 请问您有尝试过将simcse与您论文中多种数据增强策略结合吗？或者说您觉得这种方式对结果提升有价值吗，谢谢~

[yym6472]

请问您指的结合，是在embedding层使用我们论文中的不同数据增强策略，同时结合BERT原始自带的dropout方式吗？如果是这样的话，我觉得是有价值的。SimCSE的方法（即利用BERT自带的dropout增强）在每一层Transformer输出的结果上都会做一次，对不变性的学习会更强一些。

[bugmaker00]

感谢回答！ 是的。另外还想着结合一些文本预处理的工作，类似同义词替换，相当于输入模型之前，就已经是数据增强过的文本了。