bert4pytorch
bert4pytorch copied to clipboard
LayerNorm 类有个小错误
if conditional: self.dense1 = nn.Linear(2 * hidden_size, hidden_size, bias=False) self.dense.weight.data.uniform_(0, 0) -------> 此处应该self.dense1, 下边的self.dense2 也是一样的
if conditional: self.dense1 = nn.Linear(2 * hidden_size, hidden_size, bias=False) self.dense.weight.data.uniform_(0, 0) -------> 此处应该self.dense1, 下边的self.dense2 也是一样的
确实有点小问题,感谢指出