苏剑林(Jianlin Su)
苏剑林(Jianlin Su)
model.save_weights保存下来的并不是原版bert的格式，原则上用bert-as-service是没法加载的。
`[label]`改为`[[label]]`试试
bert4keras只是keras的一个上层库，相当于帮用户提前写好一些keras代码。 能不能用horovod、怎么用horovod，这是keras的问题，开发者对表示对此也没有研究，所以您应该是提问错地方了。。。要不去horovod处提问，要不去keras处提问才对。。。
谢谢提议，已加 https://github.com/bojone/bert4keras/commit/2e1bc3495789cdaa682c014b31e8425a0efeaac3#diff-fbe4e655d7da485d9313ca966df4bf963c294e0716fb6693e2a3af51a3afb7d7
> ```python > b = tf.einsum('bij,binj->bin', o, u_hat_vecs) > ``` 正解。感谢帮助他人解惑。
参考这里：https://github.com/bojone/bert4keras/blob/3161648d20bfe7f501297d4bb33a0bad1ffd4002/bert4keras/snippets.py#L808
这是启用了混合精度训练的结果吗？我没有使用过混合精度，暂时没法提供参考意见。 （看来这方面是落后了，得想办法跟上了～）
这个真没经验了。看上去你还配合了多卡并行使用？
我看不出什么原因。唯一能建议的是换linux试试。