ApacheSparkBook
ApacheSparkBook copied to clipboard
第五章《迭代型 Spark 应用》勘误与修改建议
你好,P129页的5.2.3章节中,有一句话,“每轮迭代开始时,Spark首先将w广播到所有task中”,在5.2.2章节中给出的代码样例实际上没有广播,只是放到lambda闭包然后跟随Task序列化发送到Executor,每个Task都有一份
@ycli12 你好,书里对这个过程进行了抽象,这个过程抽象看就是broadcast,只是实现方式是闭包传输,如果参数更大一些,闭包传输不了,就需要单独进行broadcast。