cail2019_track2 icon indicating copy to clipboard operation
cail2019_track2 copied to clipboard

Published 20 hours ago • verified publisher icon huanghuidmml

模型优化的问题

Open 1397981186 opened this issue 4 years ago • 4 comments

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？ 谢谢

1397981186 avatar Apr 13 '20 07:04 1397981186

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？ 谢谢

你好，gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了，capsule net的话我没有相关的实现，你可以去github搜一下capsule net，然后把embedding部分替换成bert的输出就行了

HuiResearch avatar Apr 13 '20 07:04 HuiResearch

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？ 谢谢

你好，gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了，capsule net的话我没有相关的实现，你可以去github搜一下capsule net，然后把embedding部分替换成bert的输出就行了

okok，谢啦，我去试一下。 还有一个问题，数据集如果很好的话，在bert后接模型反而没有直接finetune效果好，这是为什么呢

1397981186 avatar Apr 13 '20 08:04 1397981186

数据集如果很好的话，在bert后接模型反而没有直接finetune效果好，这是为什么呢

1397981186 avatar Apr 14 '20 01:04 1397981186

我个人认为，bert拟合能力已经很强了，接层的话很大可能会破坏bert已预训练好的分布，直接使用dense就行了，而对于不太好的数据，拟合能力不足，添加层可能会效果好点，但大多数情况，bert在很多数据集上添加层都会下降，我也只是在这个比赛有提升

HuiResearch avatar Apr 14 '20 06:04 HuiResearch