CloudShuffleService icon indicating copy to clipboard operation
CloudShuffleService copied to clipboard

Published 20 hours ago • verified publisher icon bytedance

分区太多会导致driver内存溢出

Open xcl1102 opened this issue 10 months ago • 0 comments

spark 分区数据量特别大20多万的分区，driver内存为15G，由于master是通过driver启动的，作业运行1/3之后，shuffleEpochSetMap 占用内存将近10G左右，导致driver内存溢出，shuffleEpochSetMap 的大小跟什么有关系，为什么会占用这么多的内存，有什么解决办法吗

xcl1102 avatar Aug 10 '23 11:08 xcl1102