一个bug

[thomas-li-sjtu]

你好，src代码里有两个小bug： 1.preprocess.py需要调用data_loader.py中的truncate_tokens_pair函数，但preprocess.py没有import data_loader。 2.args少一个参数 num_qkv （目前已经修正，能够运行，只是简单做个报告，非常感谢你的分享） 此外，有一个问题想问下，如果我只想单机单卡做预训练，请问是将这段代码注释掉就行吗？期待回复

# if args.amp and args.fp16:
#     from apex import amp
#     model, optimizer = amp.initialize(model, optimizer, opt_level=args.opt_level, loss_scale=args.loss_scale)
#     from apex.parallel import DistributedDataParallel as DDP
#     model = DDP(model)
# else:
#     from torch.nn.parallel import DistributedDataParallel as DDP
#     model = DDP(model, device_ids=[args.local_rank], output_device=args.local_rank, find_unused_parameters=True)