encoder类型的模型用的是cls进行相似度分的输出 decoder类型的模型也输出相似度分吗？是怎么输出的？

Open ZHAOFEGNSHUN opened this issue 11 months ago • 1 comments

想请问以下几个问题： 1、encoder类型的模型用的是cls进行相似度分的输出 decoder类型的模型也输出相似度分吗？是怎么输出的？ 2、lightweight的含义是什么？ 3、有各个模型的推理速度数据吗，如果是只输出一个分数，2b的模型应该也不会慢吧

Jan 09 '25 03:01 ZHAOFEGNSHUN

1、bge系列的encoder模型都是用cls输出相似分数，decoder是用[eos] token输出相似分数 2、lightweight是可以进行压缩，从而达到轻量化的效果 3、没有统计过具体推理速度，但是只输出一个分数的话2b的模型也很快的

Jan 15 '25 06:01 545999961