LLM-NER icon indicating copy to clipboard operation
LLM-NER copied to clipboard

数据预处理的问题

Open kyang888 opened this issue 6 months ago • 0 comments

在看lora/fine-tune.py中的177行时,如下图 9C3EFC63-EF42-43CC-AB85-31B9B239CE8E

我感觉,prompt经过tokenize后,它的最后一个token对应的标签应该是answer第一个token,那么 labels[context_length-1] 应该是 b_ids[0],而不是self.tokenizer.pad_token_id。

kyang888 avatar Aug 09 '24 09:08 kyang888