lilihui comments

Repositories
Issues
Comments

Results 2 comments of


                                            lilihui

使用moss-moon-003-sft-int8量化模型后会报错 is not a folder containing a `.index.json`

> > 尝试这样更新主函数 model = MossForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4").half().cuda() infer = Inference(model, device_map="auto") > > 我用这个方案更新在了moss_inference.py下，直接显示Killed，没有其他报错 fnlp/moss-moon-003-sft-int8，显卡4090 24G 查一下内存是否足够, 内存不够显示 Killed

使用moss-moon-003-sft-int8量化模型后会报错 is not a folder containing a `.index.json`

> > > > 尝试这样更新主函数 model = MossForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4").half().cuda() infer = Inference(model, device_map="auto") > > > > > > > > > 我用这个方案更新在了moss_inference.py下，直接显示Killed，没有其他报错 fnlp/moss-moon-003-sft-int8，显卡4090 24G > > > > > >...