Transformer4keras

Transformer4keras copied to clipboard

训练输入问题请教

1

作者您好： 我在使用该模型时：输入为（bs, seq_length)， 然后用Embedding为（bs, seq_length,64),然后输入Transformer，报错了请问一下原因： 我的模型如下： def transformer(bs,time_steps, alphabet_size): model = Sequential() model.add(Embedding(alphabet_size, 64, input_length=64)) model.add(Transformer(num_layers=2,vocab_size=alphabet_size,heads=8,model_dim=64, drop_rate=0.2,units_dim=512,epsilon=0.001)) model.add(Dense(alphabet_size, activation='softmax')) return model 报错如下： ValueError: Dimensions must be equal, but are 64...

Fayeben

我尝试使用transformer去训练时间序列数据

1

您好，我利用transhformer去训练负荷预测的数据，用20个时间段的数据预测1个时间段，shape为（10000，20），output shape为（10000，1），其中超参数： `vocab_size = 5000 maxlen = 20 model_dim = 512 # 词嵌入的维度 batch_size = 32 epochs = 10 num_layers = 2 inputs = Input(shape=(maxlen,), name="inputs") transformer = Transformer(num_layers=num_layers, vocab_size=vocab_size,...

jersonal

训练输入维度问题（inputs）

2

您好，我想使用该项目训练自己的数据集，但是我的数据处理后shape为（n,50,30）的数据，而该项目inputs shape好像只能是（n,m）的维度，我将自己的数据reshape成（n,m）的shape后，loss不降低，测试结果都是0，请问怎么修改能满足我的数据呢？ `inputs = Input(shape=(maxlen,), name="inputs")`

jersonal