黄辉

ernie在github搜一下ernie_pytorch就有了吧，我的代码上传就是最终提交版，应该不缺

> _No description provided._ 环境的话我记不太清楚了，应该pytorch1.1以上都可以运行，transformers当时比赛用的3.x版本。

> def attack(self, epsilon=1., emb_name='word_embeddings'): > > # emb_name这个参数要换成你模型中embedding的参数名 > 请问，这个embedding的参数名在哪里能看到呢？我看其他有的实现是在self.xxx = nn.Embedding()，其中xxx是emb_name的值，但是没有找到本项目的emb_name的值在哪里？谢谢您麻烦啦 这个参数名指的model的named_parameters中参数的命名，对于bert的话，这个值就是BertModel->embeddings->word_embeddings，这个word_embeddings就是emb_name,它完整的name应该是bert.embeddings.word_embeddings，但用字符串匹配的话只需要word_embeddings就够了。

> NER任务加载模型进行测试比直接训练之后的测试降了五个点。 > 加载完模型之后不进行初始化会报错，请问是否是部分参数未加载导致的。 您好，我已经修改代码的使用逻辑，已经重新测试通过了，第二次加载模型可直接将保存的模型地址传入model_dir即可。一开始的运行逻辑是第二次调用预测的话加载的是output_dir内的权重，可能和您的使用 方式不太一致。

> 注意到在训练后推理过程中将德语置换成了英语，您的代码中是否有那部分做了这样的操作呢 这个应该没有吧，如果有这个情况，应该是bert分词器切分的问题了，是不是词典用的英文词典呢？我一直用中文数据集测试，还没接触过德语

那你的数据集是方便分享吗？我晚点用来测试下

> 您好！，很赞的项目，请问后续有实现UNILM的打算吗 您好！非常抱歉，由于我现在正在转向tf2和pytorch，项目可能后续更新会较少。如果你想要使用unilm的话，建议你去使用bert4keras，苏神的一个很棒的项目，支持tf2.

> 使用楼主代码运行，多卡会报错，tf.split 分发数据出错 请问下是哪个代码呢？我这边排查下

> > > 使用楼主代码运行，多卡会报错，tf.split 分发数据出错 > > > > > > 请问下是哪个代码呢？我这边排查下 > > tf.split代码只有几处，就在数据分发那里 你好，我测试了一下，双卡三卡卡都是可以跑的，请问你报的什么错，能截图吗？

> 开题报告中想引用您的论文 这个没有，这只是一个比赛方案而已，没有论文发表