张瀚
张瀚
@ddc496601562 一个思路是自己实现自定义的receiver吧,啥时需要数据来做join了才把相应的数据送过去。话说你后来是怎么做的?
@pzz2011 ClassTag只是为了给JVM的类型擦除实现擦屁股,目的是为了把类型信息传进去,因此,只要你心中有类型,那些ClassTag直接无视就好了吧。
为什么说“在 Spark Streaming 程序在 ssc.start() 开始运行时,会生成一个 JobScheduler 的实例,并被 start() 运行起来”呢?我看到的2.10版本里StreamingContext中scheduler的定义是: private[streaming] val scheduler = new JobScheduler(this) 没有lazy,那么它应该是在streamingContext初始化的时候就生成了吧。
@lw-lin 嗯,入群了。