LLamaTuner icon indicating copy to clipboard operation
LLamaTuner copied to clipboard

不同样式的样本对应什么样的情形,如何根据自己的需求选择样本的样式

Open lixiaoxiangzhi opened this issue 1 year ago • 0 comments

选择哪一种方法进行数据预处理,处理得到的结果不同。

# 格式1
# return {
#     'input_ids': input_ids,
#     'attention_mask': attention_mask,
#     'labels': labels,
#     'target_mask': target_mask
# }
# 格式2
# return {'input_ids': input_ids, 'labels': labels}

lixiaoxiangzhi avatar Dec 19 '23 08:12 lixiaoxiangzhi