[Question]: 文本匹配增量训练方法

[wjddd]

之前有一批数据根据 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/examples/text_matching/sentence_transformers/train.py 这个代码训练了模型，现在希望在原数据基础上增加少量新数据继续训练，但是之前训练的时候并没有保存optimizer的参数，这种情况下还可以实现增量训练吗？

[wawltor]

之前有一批数据根据 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/examples/text_matching/sentence_transformers/train.py 这个代码训练了模型，现在希望在原数据基础上增加少量新数据继续训练，但是之前训练的时候并没有保存optimizer的参数，这种情况下还可以实现增量训练吗？

您好，对于optimizer这里的save和load和model的保存是类似的，下面是实例代码你可以尝试看看

# Save optimizer state_dict 
paddle.save(optimizer.state_dict(), os.path.join(save_dir, "adamw"))

# Load the optimizer state_dict 
optimizer.set_state_dict(paddle.load(os.path.join(save_dir, "adamw"))

[wjddd]

之前有一批数据根据 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/examples/text_matching/sentence_transformers/train.py 这个代码训练了模型，现在希望在原数据基础上增加少量新数据继续训练，但是之前训练的时候并没有保存optimizer的参数，这种情况下还可以实现增量训练吗？

您好，对于optimizer这里的save和load和model的保存是类似的，下面是实例代码你可以尝试看看

# Save optimizer state_dict 
paddle.save(optimizer.state_dict(), os.path.join(save_dir, "adamw"))

# Load the optimizer state_dict 
optimizer.set_state_dict(paddle.load(os.path.join(save_dir, "adamw"))

如果要做增量训练的话，是否直接设置init_from_ckpt的路径就可以了？