4张v100可以完成微调吗？

Open wangyou0804 opened this issue 2 years ago • 2 comments

作者你好，请问4张v100能够完成微调吗？该份代码是否支持int4微调？

Jun 19 '23 13:06 wangyou0804

纯GPU微调，4张V100肯定不够用，显存不足

如在DeepSpeed里offload到CPU，可以；我用这个办法在一张48GB显存的机器上fp32\fp16微调成功，大约需要机器有额外300GB内存，int4微调我没试验过；

Jun 21 '23 05:06 lhtpluto

好问题，我也有这个疑问

Jun 27 '23 09:06 for1314ai