黄辉
pretrain是预训练代码，一般来说，google的Bert是基于wiki的中文数据集预训练的，我们拿来做司法这种特殊领域需要现在司法数据上做预训练，训练完之后，我们再使用自己再次预训练后的模型去做下游任务，如这次的要素抽取，使用的代码就是train | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2019年10月15日 11:40，unstory 写道： 基础比较差，没看懂。 — You are receiving this because you are subscribed to this thread. Reply...
是的，init_checkpoint加载你预训练后的ckpt模型文件，config和vocab使用的文件和预训练一样
> 你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？ > 谢谢 你好，gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了，capsule net的话我没有相关的实现，你可以去github搜一下capsule net，然后把embedding部分替换成bert的输出就行了
我个人认为，bert拟合能力已经很强了，接层的话很大可能会破坏bert已预训练好的分布，直接使用dense就行了，而对于不太好的数据，拟合能力不足，添加层可能会效果好点，但大多数情况，bert在很多数据集上添加层都会下降，我也只是在这个比赛有提升
你好，你可以先测试下你的tensorflow是否可以使用gpu，如果不行，应该是tensorflow的安装问题，比如cuda版本不对应什么的 | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月08日 19:24，zhouyang-bigdata 写道： 请问怎样才使程序在GPU上运行?服务器用的是腾讯云的GPU,也是用你的命令，可是不管怎么试，都是用CPU运行的。请问，还需要装什么模块吗？ — You are receiving this because you are subscribed to this thread. Reply...
看你设置的epoch和服务器的性能，你这个应该是每一步大概2s，自己可以计算下大概耗时 | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月09日 09:50，zhouyang-bigdata 写道： 一番折腾，后腾讯云换了个系统镜像，这应该是在gpu上运行了。请问这个训练一般耗时多久？ 日志如下： INFO:tensorflow: name = bert/encoder/layer_11/attention/output/dense/kernel:0, shape = (768, 768), INIT_FROM_CKPT INFO:tensorflow: name =...
这是tensorflow的estimator训练方式，如果修改成session方式，我感觉可以更灵活，可以像torch一样打印训练日志和进度，只不过比较复杂点 | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月09日 10:12，zhouyang-bigdata 写道： 涨知识了。之前用pytorch时候，还没注意到step。 — You are receiving this because you commented. Reply to this email directly,...
可能有一部分重复吧，毕竟官方没有开源测试数据。也有可能是使用的使用的divorce那个数据集，那个数据集相对其他两个效果要好点。 | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月09日 10:53，zhouyang-bigdata 写道： 训练出来，准确率有0.83. 是训练集和测试集放一起训练了吧？ 日志： 99%|█████████▉| 249/252 [01:36
我之前的训练数据就是我分享的所有数据，多gpu的话团队bert代码没办法，需要更改优化器部分，或者使用horovod。再或者还pytorch，多卡很方便... | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月10日 18:00，zhouyang-bigdata 写道： 请问一下2个问题: (1)请问你之前用的训练数据是多大的? (2)请问一下，怎样设置多个GPU一起训练? — You are receiving this because you commented. Reply to this...
测试数据都不一样...我的成绩是官网测试成绩，而且一些trick代码我没有发在github，只是readme写了介绍 | | m13021933043 邮箱：[email protected] | Signature is customized by Netease Mail Master 在2020年07月15日 09:55，zhouyang-bigdata 写道： 这应该是我训练数据文件名的问题。我多训练几遍再看看。 用了6.08M 的数据（divorce）后，准确率只降了0.1. 好神奇……请问这个是合理的吗？没有重现你的0.73的准确率。 这个很可能是我测试用的数据不对。改为data_small_selected.json后，试了2次，是0.71 ，很接近了，不过，0.73没重现过。 — You are receiving this because you commented....