KoGPT2 torch의 DDP를 이용하여, huggingface의 kogpt2를 파인튜닝하면 GPU들에서 메모리 불균형이 일어납니다.

torch의 DDP를 이용하여, huggingface의 kogpt2를 파인튜닝하면 GPU들에서 메모리 불균형이 일어납니다.

Open TheDarkKnight-21th opened this issue 1 year ago • 0 comments

torch의 DDP를 이용하여, huggingface의 kogpt2를 파인튜닝하면 GPU들에서 메모리 불균형이 일어납니다.

torch의

DistributedDataSampler로 데이터 셋을 감싸줬고, DDP를 이용해서 학습을 시키면 메모리 불균형이 일어납니다.

왜 일까요?

GPU는 RTX 4090 (24GB) 2대로 학습을 진행했습니다.

Jan 30 '24 15:01 TheDarkKnight-21th