mmbwf

pytorch库在最后检测时进行了一次torch.bfloat16 tensor的创建。V100, torch=2.3.0, cuda=12.1的情况下是可以创建成功的，所以最后的返回结果是True。导致transformer库判断为True，最终导致LLaMA-Factory库判断为True。 ``` torch.tensor([1.0], dtype=torch.bfloat16, device=device) ``` LLaMA-Factory vllm_engine.py ``` infer_dtype = infer_optim_dtype(model_dtype=getattr(config, "torch_dtype", None)) infer_dtype = str(infer_dtype).split(".")[-1] ``` LLaMA-Factory misc.py ``` from transformers.utils import is_torch_bf16_gpu_available try: _is_bf16_available...