ApacheSparkBook icon indicating copy to clipboard operation
ApacheSparkBook copied to clipboard

第五章《迭代型 Spark 应用》勘误与修改建议

Open JerryLead opened this issue 4 years ago • 2 comments

JerryLead avatar Jul 20 '20 06:07 JerryLead

你好,P129页的5.2.3章节中,有一句话,“每轮迭代开始时,Spark首先将w广播到所有task中”,在5.2.2章节中给出的代码样例实际上没有广播,只是放到lambda闭包然后跟随Task序列化发送到Executor,每个Task都有一份

ycli12 avatar Feb 20 '23 01:02 ycli12

@ycli12 你好,书里对这个过程进行了抽象,这个过程抽象看就是broadcast,只是实现方式是闭包传输,如果参数更大一些,闭包传输不了,就需要单独进行broadcast。

JerryLead avatar Feb 20 '23 10:02 JerryLead