大佬有没有继续预训练的使用方法啊？

[frostjsy]

[frostjsy]

大佬有没有继续预训练的使用方法啊？

[jsksxs360]

这个应该就是按照预训练任务继续微调吧，比如 MLM 任务，就也随机 Mask 掉一些 token，然后用 AutoModelForMaskedLM 加载模型参数微调。我不知道有没有专门的库。

如果是大规模模型 LLM 的话，你可以看一下 Huggingface 官方的 PEFT 库，里面提供了很多流行的 efficient tuning 方法，比如 Low-Rank Adaptation (LoRA)。