test_pro icon indicating copy to clipboard operation
test_pro copied to clipboard

关于rdd的cache方法

Open lizixing opened this issue 13 years ago • 6 comments

为什么要把

self.shouldCache = True

注释掉?

是cache这块的功能有问题么?注释掉的话那岂不是没法启用cache来做持久化了么。

lizixing avatar May 11 '12 09:05 lizixing

目前cache这块还有一些问题,主要是GIL导致的,参考https://github.com/jackfengji/test_pro/wiki/DPark%E5%92%8CSpark%E7%9A%84%E5%8C%BA%E5%88%AB。 加入cache之后效果由于涉及到进程间内存共享,所以效果并不明显,我们正在努力尝试解决这个问题,当然如果你有好的建议欢迎提出。

jackfengji avatar May 12 '12 14:05 jackfengji

额,只好祝你们早日解决问题了。。

lizixing avatar May 15 '12 02:05 lizixing

额. 现在这个效果由改观吗?

baisk avatar Apr 01 '13 18:04 baisk

按我现在的体验,不使用cache也没有太大影响

deafwolf avatar May 14 '13 06:05 deafwolf

我也发现这个问题了

miojibaiyu avatar Dec 24 '15 08:12 miojibaiyu

这是啥?我是不是去错地方了?

darionyaphet avatar Dec 24 '15 08:12 darionyaphet