关于CLS和MEAN_POOLING的问题

[blue-vision0]

请问在使用embedding模型作为向量召回的场景中，为什么大家都默认是使用CLS作为最后的返回结果，而不是使用MEAN_POOLING或者FIRST_LAST_AVG等其它呢？ 有数据表明CLS是大多数场景的最优吗？作者是怎样看待这个问题的呢？

[staoxiao]

CLS 和MEAN_POOLING都是常用的做法。实际上，在经过训练后，各种方式差距并不大，选择一种简单的方式即可。不过要注意训练和测试使用同样的pooling方法。

[blue-vision0]

那请问bge-embedding的finetune训练脚本中默认使用的是CLS吗？

[staoxiao]

是的