1819707238

大模型权重

2

作者您好，可以放一下您使用的模型权重吗，这里库太多了，版本间差异太大，谢谢！ 同时是否有小一点且适合的大模型权重呢？ def load_qwen_model(model_path): print("Loading Qwen Model:", model_path) tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModel.from_pretrained( model_path, trust_remote_code=True, torch_dtype=torch.float16, low_cpu_mem_usage=True ) return tokenizer, model