suolyer

hi ~@liuyixian0317，针对 Few/Zero-Shot 场景，我们基于二郎神专门开发了一个新模型，近期内不久就会发布

> 您好，请问prompt learning框架什么时候会发布呢。 hi~，我们最新被 EMNLP2022收录的论文 UniMC，其只需要将标签构造成为选项即可，不需要构造复杂的Prompt工程，现已开源，详情请看https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/unimc

hi！@bifeng ubert is developed for 2022AIWIN, and there is no relation extraction task in this competition. Therefore, we currently do not provide the decoding code for relation extraction. We are...

这个主要是train.py中含有这行代码`model.load_state_dict(torch.load(args.checkpoints))`，这行代码是加载之前训练过的模型的意思。我没有上传训练好的模型。所以注释掉就好了、、、

这个提示是transformers版本的问题，不影响运行的呀

> Hi： I find that your train data is in Chinese，can it work with English？ of course！

由于数据量比较大，加载全部数据会导致收敛慢，所以就只加载有实体的句子进行训练，主要以复现论文思想为主哈。当然，模型没有对无实体句子做特殊的处理，直接加载无实体句子一起训练，大量的负样本可能会导致模型的效果变差【猜想】。可以对无实体样本做特殊的处理。例如，如果一个句子无实体，则抽取整个句子返回，或者抽取[CLS][SEP]特殊字符等。 predict产生这个错误是因为预测的位置不在反编码mapping里面，直接用try好了

可以正常运行，要先下载预训练模型权重，已更新README，可按提示运行

为什么要改成sigmoid呢，是因为一个实体可能同时属于几个类别吗？模型不收敛原因很多，可能是学习率设置得太大，也可能是标签空间太稀疏导致收敛太慢，也可能是数据本身不好区分或者标签设置不合理的原因。

我没有遇过这个问题，batch_size是pytorch_lightning.trainer的一个超参数，你可以试试用这个trainer训其他模型是否出现同样的问题。 另外，我们对ubert做了一个很大的升级，可以尝试使用我们的升级版https://github.com/IDEA-CCNL/Fengshenbang-LM/tree/main/fengshen/examples/uniex