prince prince
Results
1
comments of
prince prince
> 你应该是运行的7B版本的sft吧，我在sft load模型的时候，模型会先load到cpu，然后再pipeline parallel到对应的GPU上，你这里我感觉应该是CPU内存不够，存不下半精度的7～8B的模型（7～8B模型 半精度，约需要14～16GB的存储空间） 那可以做到把模型直接load到gpu上吗，我这边的cpu可能达不到这个要求