bge-rerank模型输出分数阈值

[Zhouziyi828]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

[Zhouziyi828]

以及huggingface的调用方式如何进行归一化呢,后面我们自行添加一个吗

[Tian14267]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

看源码。归一化 就是一个 sigmoid函数。

[Zhouziyi828]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

看源码。归一化 就是一个 sigmoid函数。

看到了,那所以归一化之前的分数只是代表相对大小,不是说大于0的都是相关性很强的,小于0的都是很弱的?

[Tian14267]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

看源码。归一化 就是一个 sigmoid函数。

看到了,那所以归一化之前的分数只是代表相对大小,不是说大于0的都是相关性很强的,小于0的都是很弱的?

应该是的

[staoxiao]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

看源码。归一化 就是一个 sigmoid函数。

看到了,那所以归一化之前的分数只是代表相对大小,不是说大于0的都是相关性很强的,小于0的都是很弱的?

应该是的

对的，阈值需要根据具体下游任务设置。

[Zhouziyi828]

观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义?

看源码。归一化 就是一个 sigmoid函数。

看到了,那所以归一化之前的分数只是代表相对大小,不是说大于0的都是相关性很强的,小于0的都是很弱的?

应该是的

对的，阈值需要根据具体下游任务设置。

是需要在具体下游任务中统计这个分数,然后再人工看这个分数对应的片段具体的相关性,然后大概确定这个相关性强弱区分的阈值么