plato icon indicating copy to clipboard operation
plato copied to clipboard

Published 20 hours ago • verified publisher icon Tencent

文件读取问题

Open DoraTiger opened this issue 3 years ago • 2 comments

目前在拜读源码的时候，从文件加载缓存的过程是通过openMP进行并行加速的，这样的话，如果是多节点运行，那每个节点在加载缓存阶段应该都会完整的读取一份数据，这样就会超出预估的内存使用上限了吧。

DoraTiger avatar Jul 27 '21 12:07 DoraTiger

每个节点只加载自己负责的部分数据。

ustcyu avatar Aug 14 '21 07:08 ustcyu

多节点读写hdfs是不是会有问题

luoyeguigen001 avatar Sep 01 '21 10:09 luoyeguigen001