多任务微调时的预训练

[mynewstart]

请问多任务微调时，预训练使用训练数据性能变差了怎么办（大概100M数据）。此外如果想在预训练时利用cls，预料应该如何组织？在源代码preprocess.py中，target参数没有了cls选项？请问target='mt'表示什么？

[zhezhaoa]

使用下游任务的数据预训练，能够让预训练模型适应下游任务数据分布，一般来说能够提升下游任务的表现

如果想在预训练上进行分类，需要加一个ClsTarget，包括在uer/trainer.py中加一个train_cls函数（后续会写成类），在uer/utils/data.py上加上对应的dataset和dataloader，以及加上uer/targets/cls_target.py，此外preprocess.py pretrain.py uer/utils/init.py uer/targets/init.py需要进行相应的调整 我们会尽快在对外开源的项目中加上这个目标任务

mt表示机器翻译，支持encoder-decoder这种形式。目前正在测试中，确定准确复现后会更新到readme

[mynewstart]

感谢回答