dinky icon indicating copy to clipboard operation
dinky copied to clipboard

[Bug] [JOB重新启动] 在Yarn per job模式下的JOB重启逻辑问题

Open chen5306514 opened this issue 2 years ago • 1 comments

Search before asking

  • [X] I had searched in the issues and found no similar issues.

What happened

在Yarp per job模式下作业重启逻辑是 1.停止JobManager里的job 2.停止当前的Job实例 3.启动新的Job实例

因为是Yarn per job模式,此时会在Yarn上保留一个jobManager,而这个jobManager却没有任何意义,且会浪费Yarn的资源。

图片

What you expected to happen

在Yarp per job模式下作业重启/停止,需要把JobManager也停掉。

How to reproduce

1.创建一个yarn per job的作业,并运行 2.进入运维中心-查看该作业的详细 3.点击重新启动 4.观察结果: job实例会重启 yarn里的jobmanager会停止掉对应的job,但是jobmanager不会停止。

Anything else

No response

Version

0.6.4

Are you willing to submit PR?

  • [x] Yes I am willing to submit a PR!

Code of Conduct

chen5306514 avatar Jul 19 '22 08:07 chen5306514

假如重启/Savepoint停止会同步停止对应的JobManager,会导致另外一个问题:新启的Job实例的JobManager和历史已停止的Job实例的JobManager可能会是同一个,从而导致在查看历史的Job实例的时候,跳转FlinkWeUI会报错Job xxx not found(这是正常的)

chen5306514 avatar Jul 19 '22 14:07 chen5306514

已解决

aiwenmo avatar Nov 22 '22 15:11 aiwenmo