SkyBigger

codes reformatted， please try again

同问，fnlp/moss-moon-003-sft下目前也没带index.json

> 尝试这样更新主函数 model = MossForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4").half().cuda() infer = Inference(model, device_map="auto") 我用这个方案更新在了moss_inference.py下，直接显示Killed，没有其他报错 fnlp/moss-moon-003-sft-int8，显卡4090 24G

> > > 尝试这样更新主函数 model = MossForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4").half().cuda() infer = Inference(model, device_map="auto") > > > > > > 我用这个方案更新在了moss_inference.py下，直接显示Killed，没有其他报错 fnlp/moss-moon-003-sft-int8，显卡4090 24G > > 查一下内存是否足够, 内存不够显示 Killed 这里的“足够”有预估吗，训练和推理的需求大概各是多少？我查了下当前内存16G确实比较小

> > > > > > 尝试这样更新主函数 model = MossForCausalLM.from_pretrained("fnlp/moss-moon-003-sft-int4").half().cuda() infer = Inference(model, device_map="auto") > > > > > > > > > > > > > > > 我用这个方案更新在了moss_inference.py下，直接显示Killed，没有其他报错...

+1

@pudding1996 could you fix the link and let us know when it's done? Thanks