Yichong Huang
Yichong Huang
如题,我该如何将模型保存为RoBERTa-wwm那样包含index,meta和data三个文件的checkpoint格式呢? 目前尝试过save_weights和tf.keras.callbacks.ModelCheckpoint,但是最终都只会输出一个文件。 使用tf.keras.callbacks.ModelCheckpoint保存模型的代码如下: ``` checkpoint_path = "models/cp-{epoch:04d}.ckpt" checkpoint_dir = os.path.dirname(checkpoint_path) # Create a callback that saves the model's weights cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_path, save_weights_only=False, verbose=1) model.fit_generator( DataGenerator(train_data_path,batch_size), epochs=epochs, callbacks=[evaluator, cp_callback], verbose...
使用的是LCSTS全部的数据集,训练了一个epoch之后,生成的摘要和原文一样……不知道有没有人遇到同样的情况? 我做的一点修改就是不再使用pyrouge,因为pyrouge测不了中文。我改成了用rouge,这个应该没什么影响吧。 数据处理过程应该是没什么问题: (Global-Encoding) [ychuang@gpu18 data]$ cat train.src | head -n 1 新华社受权于18日全文播发修改后的《中华人民共和国立法法》,修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章,共计105条。 (Global-Encoding) [ychuang@gpu18 data]$ cat train.tgt | head -n 1 修改后的立法法全文公布 (Global-Encoding) [ychuang@gpu18 data]$ cat test.src | head...