UER-py 如何基于 GPT2增量训练或微调实现生成式任务

如何基于 GPT2增量训练或微调实现生成式任务

Open runningabcd opened this issue 1 year ago • 4 comments

训练数据格式如下：你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

Apr 17 '24 11:04 runningabcd

@hhou435 大佬，求帮助

Apr 17 '24 11:04 runningabcd

训练数据格式如下：你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？音乐，娱乐

是否可实现这类生成式任务？目前未看到支持的脚本

如果是这类数据，训练格式如下：你是文本分类专家，请对文本进行分类，将文本分到以下类别：音乐、体育、娱乐、财经。文本：xxxxxxx 类别是？[SEP]音乐，娱乐这种符合要求吗？

Apr 17 '24 11:04 runningabcd

还有个问题是，基于 GPT2增量训练后，预测时发现，模型输出乱码，请问造成这类问题的原因是什么

Apr 18 '24 02:04 runningabcd

这个项目die？没人维护了？omg

Apr 22 '24 03:04 runningabcd