Taier icon indicating copy to clipboard operation
Taier copied to clipboard

按用户使用的租户名称进行hadoop.user.name的绑定,以便于解决提交yarn任务时都是admin在提交。

Open yc576192 opened this issue 3 years ago • 3 comments

Search before asking

  • [X] I had searched in the issues and found no similar feature requirement.

Description

登录taier平台后选择的租户能绑定要使用的yarn队列资源,但提交yarn任务的用户是admin。

Use case

是不是能支持一下用的哪个租户,提交的yarn任务就使用这个租户来提交任务,这样能更好的支持租户和yarn队列的对应关系。

Related issues

No response

Are you willing to submit a PR?

  • [ ] Yes I am willing to submit a PR!

Code of Conduct

yc576192 avatar Nov 16 '22 13:11 yc576192

  • 可以在前端页面 租户集群绑定的时候 填写hadoopUserName 存放到develop_tenant_component表中

  • 在插件统一的入口使用 代理用户提交

    public static <T> T login(BaseConfig config, Supplier<T> supplier, Configuration configuration, boolean isCreateNewUGI) throws Exception {
        if (Objects.isNull(config) || !config.isOpenKerberos()) {
            UserGroupInformation proxyUser = UserGroupInformation.createProxyUser("test", UserGroupInformation.getCurrentUser());
            return proxyUser.doAs((PrivilegedExceptionAction<T>) supplier::get);
      //            return supplier.get();
        }
    
  • 给对应使用到的hdfs目录权限

      [root@dev-node3 ~]# hadoop dfs -chmod 777 /dtInsight/flink112/ha
      [root@dev-node3 ~]# hadoop dfs -chmod 777 /dtInsight/flink112/checkpoints
    
  • 执行任务 image

vainhope avatar Dec 08 '22 08:12 vainhope

当前的chunjun使用的版本是? ftp->hdfs , kafka->hdfs , kafka->kafka 这些测试不会失败么

vainhope avatar Dec 11 '22 09:12 vainhope

是我改了chunjun的kafka hdfsconnector,只同步了kafka、hdfs的jar包到flink/lib做了替换,之前的mysql-connector.jar\clickhouse-connector.jar没做替换。。 可能这个导致报错了mysql序列化的错误吧。。

yc576192 avatar Dec 12 '22 02:12 yc576192