FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard
verified publisher icon FlagOpen

BGE中的retroMAE阶段，为什么encode阶段不用position embedding呢？

Open lyzltysgithub opened this issue 1 year ago • 2 comments

BGE中的retroMAE阶段，为什么encode阶段不用position embedding呢？而decoder阶段都有用到，是为什么呢？非常期盼解答！

lyzltysgithub avatar Jan 29 '24 06:01 lyzltysgithub

您好，encode阶段bertmodel会自动加上position embedding。

staoxiao avatar Jan 29 '24 11:01 staoxiao

非常感谢大佬！想再请问大佬下：

  1. enhanced decoding阶段（论文中C阶段）是对decoding阶段（论文中B阶段）的替代吗？
  2. BGE reranker的模型大小和参数量大概为多少
  3. BGE embedding的pretrain阶段是否就是retroMAE的复用，是否有其他改进 再次感谢您的解答

lyzltysgithub avatar Jan 30 '24 02:01 lyzltysgithub