请问您这边提供的bart模型能支持类似于文章生成或者是标题补全吗？

[YINGPENGZH]

这是文档给的例子：如果我想让bart-chinese或者cpt-chinese把类似“考研英语”通过模型生成为“考研英语讲座”、“考研英语视频大全”这种可以吗？而不是预测输入文本中的【MASK】。

[choosewhatulike]

我觉得可以在输入上插入一些[MASK]，让模型beam search的去预测，保留一些生成分数高的预测结果。当然也可以构造一个标题补全的数据集，把标题[MASK]一部分，让模型去补全，进行fine-tuning。有训练的情况下，应该效果不差的。

[YINGPENGZH]

我觉得可以在输入上插入一些[MASK]，让模型beam search的去预测，保留一些生成分数高的预测结果。当然也可以构造一个标题补全的数据集，把标题[MASK]一部分，让模型去补全，进行fine-tuning。有训练的情况下，应该效果不差的。

想再请教一下您这边bart-chinese所用的中文训练数据是开源的吗？是哪个数据集啊？

[choosewhatulike]

用的 Wudao 数据集的开源版本，下载地址：https://resource.wudaoai.cn/home

[YINGPENGZH]

用的 Wudao 数据集的开源版本，下载地址：https://resource.wudaoai.cn/home

您好，想再请教一下，bart模型预训练的时候数据集的处理，输入是最大长度为512？输出呢？都是截断或者【pad】成同一长度吗？

[choosewhatulike]

输入和输出最大长度都是512，具体可以看我们预训练代码的dataset部分