2021-sohu-textmatch
2021-sohu-textmatch copied to clipboard
Published
20 hours ago •
LogicJake
LogicJake
2021搜狐校园文本匹配算法大赛
2021-sohu-textmatch
2021搜狐校园文本匹配算法大赛
建模思路
加载 bert 预训练模型，取最后一层序列输出的平均值作为句子对的embedding；任务类型embedding化与句子对的embedding相加，作为input输入到全连接层分类器。这样就可以达到用一个模型同时预测taskA和taskB的目标。
模型效果
| 预训练模型 | 线下 | 线下taskA | 线下taskB | 线上 | 线上taskA | 线上taskB |
|---|---|---|---|---|---|---|
| ernie | 0.7815 | 0.847 | 0.7161 | 0.7822752226 | 0.8473297289 | 0.7172207162 |
| chinese-roberta-wwm-ext | 0.7815 | 0.8468 | 0.7162 | 0.7824321441 | 0.8499669016 | 0.7148973867 |
| ernie+roberta等权重融合 | 0.7841945647 | 0.8509693997 | 0.7174197298 |
LogicJake