Shitao Xiao
Shitao Xiao
可以尝试增加这个值并设置_keys_to_ignore_on_save=None
这个是huggingface里roberta模型的小bug，使用的时候模型只用了max_position_embeddings-2个位置编码，前2个位置编码被抛弃了。
我们只需要一个数值进行排序，这里计算的是yes的概率，进行排序。
We haven't tried it.
可以尝试air-bench英文评估，里面有reranker：https://github.com/AIR-Bench/AIR-Bench
需要修改一下代码，冻结模型其他层，只训练sparse_linear
You can decrease the `batch_size_per_device` to reduce the memory cost.
需要的，所有向量都要重新推理
> > > > 观察到阈值的范围很大,在其他的issue中看到可以用normalize=True来进行归一化,那么归一化之前是小于0说明相关性很低么,还是没有这样的绝对说法,只是相关性从高排序就好,但是具体分数的大小没有实际意义? > > > > > > > > > 看源码。归一化 就是一个 sigmoid函数。 > > > > > > 看到了,那所以归一化之前的分数只是代表相对大小,不是说大于0的都是相关性很强的,小于0的都是很弱的? > > 应该是的 对的，阈值需要根据具体下游任务设置。