Cocoa

同求呀 自己训练不收敛

你好我也碰到了这个问题，请问你解决了么

> RuntimeError: CUDA out of memory. Tried to allocate 576.00 MiB (GPU 0; 31.75 GiB total capacity; 30.01 GiB already allocated; 548.00 MiB free; 30.02 GiB reserved in total by...

> > > > > > > > > 修改了哪里？ > > https://huggingface.co/fnlp/moss-moon-003-sft/blob/7119d446173035561f40977fb9cb999995bb7517/modeling_moss.py#L63 请问这个怎么改成False啊。。

请问推理的时候出现这样的错怎么改呀 moss_cli_demo.py RuntimeError: CUDA out of memory. Tried to allocate 576.00 MiB (GPU 0; 31.75 GiB total capacity; 30.01 GiB already allocated; 548.00 MiB free; 30.02 GiB reserved in total...

请问你用的cuda版本是多少呀

> 我用10.2可以的 请问cuda10.2成功部署了哪个模型？torch accelerate 这些版本是多少呀 我是cuda11.0死活跑不通