老秦
老秦
> 把新增的数据追加到训练集里从头练?需要花很长时间,主要是新增数据的频率很高,每次都从头练成本太高了 :(
> 1、新数据继续训练,lr减小10倍,batch size设置为8(或者2),epoch设为3,参考continue training的方法和paper; > 2、新的小数据集积累多批次,单独训练个模型,预测时跟大模型一起work。 > 3、我一般是从头训练,迭代模型 😄 我试一下
> load optimizer and scheduler before continue training: > > ``` > if os.path.isfile(os.path.join(args.model_name_or_path, "optimizer.pt")) and os.path.isfile( > os.path.join(args.model_name_or_path, "scheduler.pt")): > # Load in optimizer and scheduler states > optimizer.load_state_dict(torch.load(os.path.join(args.model_name_or_path,...
run `pip install scipy -U` upgrad to version 1.2.1
何出此言呢?依据是哈?