muqiu

config.json vocab.txt model.bin need download，you can get from https://huggingface.co/models

> if conditional: self.dense1 = nn.Linear(2 * hidden_size, hidden_size, bias=False) self.dense.weight.data.uniform_(0, 0) -------> 此处应该self.dense1, 下边的self.dense2 也是一样的 确实有点小问题，感谢指出

bert4keras本身也没有提供模型，照样需要去其他地方下载标准的预训练模型格式。其次，bert4keras支持的是tf格式的模型，bert4pytorch支持的是pytorch格式的模型。不过倒是可以通过一个函数，支持tf模型转pytorch，这个就以后再考虑了，目前觉得没有太大必要

其实现在transformer架构的预训练模型，有tf基本就有pytorch版本，社区还是蛮强大的，可能是你没找到。 我的本意就是尽量简洁，不想类似huggingface团队的transformers项目那样搞得太全面却很笨重，tf转pytorch可以实现，这个不难。

ok，后面我添加上这个功能，也尽量多给些例子，这一两周会更新下其他的一些东西

确实有些实现是类别数减一，不过我认为不需要减一，原因有三： 1、labelsmooth的原始论文中的公式，分母就是类别数 2、在fastai中，实现的LabelSmoothingCrossEntropy也是没有减一的 3、事实上减不减一，对最终的优化效果并没有什么影响，唯一影响的只是每个batch的loss大小而已 我更坚持fastai的实现

> _No description provided._ tensorflow版还是pytorch版

> 您好，pytorch版 去huggingface官网下载，或者用脚本把tensorflow版转成pytorch版本

我使用的是requests==2.26.0 不过这只是警告信息，应该也能跑 接下来的版本可能会删除去网上下载模型的功能，做到更加简洁