bert4keras icon indicating copy to clipboard operation
bert4keras copied to clipboard

关于bert.model.output

Open wells-Qiang-Chen opened this issue 4 years ago • 1 comments

提问时请尽可能提供如下信息:

基本信息

  • 你使用的操作系统:
  • 你使用的Python版本:
  • 你使用的Tensorflow版本:
  • 你使用的Keras版本:
  • 你使用的bert4keras版本:
  • 你使用纯keras还是tf.keras:
  • 你加载的预训练模型:

核心代码

# 请在此处贴上你的核心代码。
# 请尽量只保留关键部分,不要无脑贴全部代码。
  1. keras.models.Model(bert.model.inputs, bert.model.outputs[0])

  2. output_layer = 'Transformer-%s-FeedForward-Norm' % (bert_layers - 1) output = model.get_layer(output_layer).output

  3. cls_features = keras.layers.Lambda( lambda x: x[:, 0], name='cls-token' )(bert.model.output) # shape=[batch_size,768]

4.encoder = keras.models.Model(bert.model.inputs, bert.model.outputs[0]) seq2seq = keras.models.Model(bert.model.inputs, bert.model.outputs[1])

输出信息

# 请在此处贴上你的调试输出

自我尝试

不管什么问题,请先尝试自行解决,“万般努力”之下仍然无法解决再来提问。此处请贴上你的努力过程。 学习样例时,发现使用了不同种bert的输出,想请问一下bert4keras的output和原生bert的对应关系, bert.model.outputs[0]对应pooled_output(), bert.model.outputs[1]对应sequence_output() ,bert.model.output对应sequence_output() 请问可以这么理解嘛?

wells-Qiang-Chen avatar Nov 27 '21 02:11 wells-Qiang-Chen

可以这么理解

bojone avatar Dec 20 '21 06:12 bojone