Michael.Y.Ma
Results
1
issues of
Michael.Y.Ma
我在一台 T4(16GB) x 4 服务器上部署推理，使用 gradio_demo.py 运行，会 out of memeory，运行不起来。 做了代码调整： line 57: `model = AutoModel.from_pretrained(model_path, attn_implementation='sdpa', trust_remote_code=True,torch_dtype=torch.bfloat16, device_map="auto")` line 58： `# model = model.to(device=device)` 可以跑起来，但是提问问题会报错： RuntimeError: Expected all tensors...