bert4keras icon indicating copy to clipboard operation
bert4keras copied to clipboard

明确bert中 layer的shape

Open reporter-law opened this issue 3 years ago • 4 comments

提问时请尽可能提供如下信息:

基本信息

  • 你使用的操作系统: windows
  • 你使用的Python版本: python3.7
  • 你使用的Tensorflow版本: tensorflow 1.15.4+nv
  • 你使用的Keras版本: 2.2.4
  • 你使用的bert4keras版本: 0.11.3
  • 你使用纯keras还是tf.keras: keras
  • 你加载的预训练模型:roformer_v2

核心代码

 print(bert.output)

输出信息

Tensor("bertTransformer-5-FeedForward-Norm/truediv:0", shape=(?, ?, 384), dtype=float32)

自我尝试

需求:希望明确shape,主要是maxlen,形如Tensor("bertTransformer-5-FeedForward-Norm/truediv:0", shape=(?, 300, 384), dtype=float32)

reporter-law avatar Sep 16 '22 05:09 reporter-law

是根据batch中的max确定的、为啥一定要明确?

i4never avatar Sep 16 '22 06:09 i4never

因为想对maxlen层处理,比如concatenate(axis=1)

reporter-law avatar Sep 16 '22 13:09 reporter-law

如果你的“明确”是指固定,那么可以在build_transformer_model的时候传入sequence_length=xxx

bojone avatar Sep 19 '22 06:09 bojone

如果你的“明确”是指固定,那么可以在build_transformer_model的时候传入sequence_length=xxx

是的,就是固定,感谢苏神的回复!!!

reporter-law avatar Sep 20 '22 12:09 reporter-law