FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

LLM reranker,为什么output label始终为Yes

Open Franklee95 opened this issue 1 year ago • 3 comments

https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/llm_reranker/finetune_for_instruction/data.py#L75 在data.py的第75行,明明passages里面存在着负样本 image

为什么最终在处理的时候 https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/llm_reranker/finetune_for_instruction/data.py#L126 依然要在里面拼接一个yes的回答 image 我把tokenizer后的input_ids decode出来,结果全是yes image

请问是为什么

Franklee95 avatar Aug 14 '24 12:08 Franklee95

因为yes不关键,关键是使用的yes的logits

ericxk avatar Aug 15 '24 01:08 ericxk

取出yes的logit,根据大小进行排序

staoxiao avatar Aug 16 '24 06:08 staoxiao

为什么不直接取倒数第二个位置的索引,或者不加yes直接取-1

HiXiaochen avatar Sep 24 '24 09:09 HiXiaochen

yes这里应该是个标识,在做模型计算的时候应该是取了yes位置前一个位置的logits image

kzh2ang avatar Nov 17 '24 12:11 kzh2ang