LLM-NER
LLM-NER copied to clipboard
数据预处理的问题
在看lora/fine-tune.py中的177行时,如下图
我感觉,prompt经过tokenize后,它的最后一个token对应的标签应该是answer第一个token,那么 labels[context_length-1] 应该是 b_ids[0],而不是self.tokenizer.pad_token_id。