Llama-Chinese icon indicating copy to clipboard operation
Llama-Chinese copied to clipboard

Published 20 hours ago • verified publisher icon LlamaFamily

SFT数据格式问题

Open lovelyturtle opened this issue 1 month ago • 1 comments

感觉markdown给的数据格式有问题； 数据集只有一列"task"是把整个输入全部计算了loss，但SFT的正确做法应该要mask掉human的部分不参与损失计算。 如果是SFT格式的，数据集应该提供"input"和"target"两列；代码没有问题，但是这部分的markdown文档有问题

lovelyturtle avatar Apr 08 '24 15:04 lovelyturtle

其实学习human的内容，也没有问题，有一些试验表明会提高效果，当然这种方式效率低一些。 代码其实支持这两种方式

ZHangZHengEric avatar Apr 26 '24 07:04 ZHangZHengEric