Taier
Taier copied to clipboard
按用户使用的租户名称进行hadoop.user.name的绑定,以便于解决提交yarn任务时都是admin在提交。
Search before asking
- [X] I had searched in the issues and found no similar feature requirement.
Description
登录taier平台后选择的租户能绑定要使用的yarn队列资源,但提交yarn任务的用户是admin。
Use case
是不是能支持一下用的哪个租户,提交的yarn任务就使用这个租户来提交任务,这样能更好的支持租户和yarn队列的对应关系。
Related issues
No response
Are you willing to submit a PR?
- [ ] Yes I am willing to submit a PR!
Code of Conduct
- [X] I agree to follow this project's Code of Conduct
-
可以在前端页面 租户集群绑定的时候 填写hadoopUserName 存放到develop_tenant_component表中
-
在插件统一的入口使用 代理用户提交
public static <T> T login(BaseConfig config, Supplier<T> supplier, Configuration configuration, boolean isCreateNewUGI) throws Exception { if (Objects.isNull(config) || !config.isOpenKerberos()) { UserGroupInformation proxyUser = UserGroupInformation.createProxyUser("test", UserGroupInformation.getCurrentUser()); return proxyUser.doAs((PrivilegedExceptionAction<T>) supplier::get); // return supplier.get(); } -
给对应使用到的hdfs目录权限
[root@dev-node3 ~]# hadoop dfs -chmod 777 /dtInsight/flink112/ha [root@dev-node3 ~]# hadoop dfs -chmod 777 /dtInsight/flink112/checkpoints -
执行任务

当前的chunjun使用的版本是? ftp->hdfs , kafka->hdfs , kafka->kafka 这些测试不会失败么
是我改了chunjun的kafka hdfsconnector,只同步了kafka、hdfs的jar包到flink/lib做了替换,之前的mysql-connector.jar\clickhouse-connector.jar没做替换。。 可能这个导致报错了mysql序列化的错误吧。。