xiaobin
Results
3
comments of
xiaobin
> > > 用load_in_8bit加载，问"你是谁"就会报这个错 > > > > > > 我试了下load_in_8bit,我这边是没问题的。你可以把你的所有代码都贴出来，我看看能不能复现？另外，你的平台是什么？3090？ > > ``` > model = AutoModelForCausalLM.from_pretrained( > "baichuan-inc/Baichuan-13B-Chat", > load_in_8bit=True, > torch_dtype=torch.float16, > device_map="auto", > trust_remote_code=True > )...
> 我之前用load_in_8bit，频繁报这个错误，包括最开始的那个可复现bug的英文prompt > > 后来改为fp16，bug频率大幅下降，但还是有 @hanswang73 意思是说，load_in_8bit+bf16 比 load_in_8bit+fp16 更容易出bug？