unilm

unilm copied to clipboard

你好，src代码里有两个小bug： 1.preprocess.py需要调用data_loader.py中的truncate_tokens_pair函数，但preprocess.py没有import data_loader。 2.args少一个参数 num_qkv （目前已经修正，能够运行，只是简单做个报告，非常感谢你的分享） 此外，有一个问题想问下，如果我只想单机单卡做预训练，请问是将这段代码注释掉就行吗？期待回复 # if args.amp and args.fp16: # from apex import amp # model, optimizer = amp.initialize(model, optimizer, opt_level=args.opt_level, loss_scale=args.loss_scale) # from apex.parallel import DistributedDataParallel...

thomas-li-sjtu

单机单卡可以吗==

1

WarrenMihail

lsy641