zhaotl
zhaotl
作者你好，最近在复现你们的工作“Making Large Language Models A Better Foundation For Dense Retrieval”，但是在模型训练过程中发现了模型塌缩，loss降了5个点后就不降了，同时对所有句子编码后的embedding，计算相似度几乎为1。想问一下在处理ebar和ebae两个任务的label的时候是否进行了一些特殊处理呢？我的理解是句子中常见的高频词会影响llm对句子的理解，导致这种塌缩现象，不知道你们是如何解决的？