sslif

目前预测推理时，加载模型分两步，先加载原来的模型，再加载微调后的小模型，合起来就是微调后的大模型，单GPU预测的话没有问题，但多GPU的话会报错，解决的思路是，将加载的两个模型合并为一个模型，然后再加载合并后的大模型，多GPU预测就不会有问题。 在做推理预测时，先合并到一个大模型 ``` tokenizer = AutoTokenizer.from_pretrained("model_args.model_name_or_path", trust_remote_code=True) config = AutoConfig.from_pretrained("model_args.model_name_or_path", trust_remote_code=True) config.pre_seq_len = model_args.pre_seq_len model = AutoModel.from_pretrained("model_args.model_name_or_path",config=config, trust_remote_code=True).half().cuda() prefix_state_dict = torch.load(os.path.join("os.path.join(model_args.ptuning_checkpoint", "pytorch_model.bin")) new_prefix_state_dict = {} for k, v in prefix_state_dict.items():...