Mao Yancan

Results 4 comments of Mao Yancan

> autopilot适合于大状态作业吗?因为作业本身恢复就比较慢。另外对于流量比较大的作业,频繁重启也会造成数据处理延迟。如果能针对这些情况调节autopilot灵敏度就好了。后续项目会开源吗? Autopilot本身提供的一套Control policy不太能准确的预测出最优的资源分配,主要是Scaling的判断没有有效的利用整个pipeline上下游的信息,因此需要多次scaling来达到最优/稳定的资源分配,我们的模型Morphling可以利用上下游的metrics建模分析预测需要的资源数量,然后调用Scaling机制,这样可以降低Scaling的次数,尽快收敛到最优资源分配。 就Scaling本身而言: ververica的autopilot 默认使用的是kill-and-restart的方法,对于state较大的作业,restart的过程会比较慢。 我们这里提出的是一种partial-pause-and-resume的机制,也就是只对需要更新的作业中的stream task进行更新,因此执行速度会快很多,也避免了重启的overhead。 目前这还是一个prototype,我们会在比赛结束之后开源demo的代码。

> 请问这部分代码开源了吗 You can refer tohttps://github.com/yancanmao/Morphling. We do not have readme inside, so you may need to read by yourself...Good luck.

> It seems the above link is broken '404 Not Found'. Sorry, have created a public repo.

> > > 请问这部分代码开源了吗 > > > > > > You can refer tohttps://github.com/yancanmao/Morphling. We do not have readme inside, so you may need to read by yourself...Good luck. >...