kyang
kyang
In highway network, H is a non_linear function. But in this report，H is a linear function. why this is? thanks!
在看lora/fine-tune.py中的177行时，如下图 我感觉，prompt经过tokenize后，它的最后一个token对应的标签应该是answer第一个token，那么 labels[context_length-1] 应该是 b_ids[0]，而不是self.tokenizer.pad_token_id。