苏剑林(Jianlin Su)
苏剑林(Jianlin Su)
这个，了解一下`keras.backend.function`，用它比较好实现～
这个我也不懂，只能等其他了解的朋友看到的话帮忙解答一下了
既然是simbert，为什么加载的是roberta？
2.x我也不熟悉了～这个`save_weights_as_checkpoint`一般是预训练完之后转格式用，预训练只推荐用1.14或者1.15。
> @bojone 想着finetune一版bert模型A，然后接着再在A上继续finetune（需要用ckpt格式），这种有其他方法么 你用`load_weights`加载A的权重，不一定要用`build_transformer_model`。
是的，CLUE的模型都没有保留mlm权重，不知为何。 最新版的bert4keras，你可以在`build_transformer_model`的时候传入`ignore_invalid_weights=True`来忽略这个错误。
关于recompute的各种问题，欢迎提出解决方案，但是如果纯粹提出问题，那么作者也无能为力，因为recompute的代码是纯粹东拼西凑而来的，作者也不理解原理，无从改进，更不用说结果estimator这种作者也没用过的东西的使用方法了。
还真没研究过英文版roberta～有空再看看吧。
大概率是不会的
这个我也发现了，不管哪个版本的tf，平均而言tf.keras基本都慢于keras，所以我基本都不用tf.keras（除了多卡并行）。 但具体我也不知道什么原因，或者你可以向Google请教一下。