Taier icon indicating copy to clipboard operation
Taier copied to clipboard

Published 20 hours ago • verified publisher icon DTStack

[Bug] [多集群管理] 唯独hdfs无法验证通过，其他都可以。

Open wangzhen-wudangshan opened this issue 2 years ago • 11 comments

Search before asking

  • [X] I had searched in the issues and found no similar issues.

What happened

在配置HDFS 存储组件过程中，上传Kerberos 的zip时出现Kerberos无法登录的情况。但是我自己单独搭建flink 1.13.5时，Kerberos是可以连通的。提示：Kerberos 的zip包里有：krb5.conf 和 nn.service.keytab 两个文件。方便的话，你们可以提供相关实例，我参考下。 截图如下： bb5e18f09462400ed0800ccded2241a 错误是： 59f34f1a528a695f7499fc3c4e20504

What you expected to happen

我觉得是 taier 对 Kerberos 文件处理有问题 ，或者是我传的的kerberos有文件不对。

How to reproduce

你们可以在多集群管理里面配置下HDFS, 看看是否可以重新。如果通过，可以提供建议给我们。

Anything else

No response

Version

v.12

Are you willing to submit PR?

  • [ ] Yes I am willing to submit a PR!

Code of Conduct

wangzhen-wudangshan avatar Sep 08 '22 08:09 wangzhen-wudangshan

image hdfs的配置xml文件能贴一下么

vainhope avatar Sep 08 '22 09:09 vainhope

image hdfs的配置xml文件能贴一下么

(1)kerberos zip文件： taier-kerberos.zip (2)hdfs的xml文件： taier-hdfs.zip

相关文件已经发你了，请核对。

wangzhen-wudangshan avatar Sep 09 '22 01:09 wangzhen-wudangshan

com.dtstack.taier.hdfs.DtHdfsClient#checkHdfsConnect 等跟下这个地方181行 具体什么npe了 我看你的文件配置项是有的 应该不是配置项问题 image

vainhope avatar Sep 09 '22 03:09 vainhope

那是不是Kerberos的问题？Kerberos文件也发你了，麻烦核实下和你们测试时啥区别。 59f34f1a528a695f7499fc3c4e20504

wangzhen-wudangshan avatar Sep 09 '22 07:09 wangzhen-wudangshan

你的集群我访问不了 本地测试没有出现你截图的这个问题 image

vainhope avatar Sep 09 '22 07:09 vainhope

什么情况下会有mergekerb5.conf 文件呢? 估计是Kerberos认证失败导致的。另外我的HDFS的 nn.service.keytab文件名称和格式对吗？对taier来说。

wangzhen-wudangshan avatar Sep 09 '22 09:09 wangzhen-wudangshan

点击过kerbero的编辑按钮就会有，可以删除掉keytab 在上传直接报错再试试

如果还是有点话 建议debug看下 具体的报错问题 image

vainhope avatar Sep 10 '22 13:09 vainhope

请查看文 scheduler.zip

wangzhen-wudangshan avatar Sep 15 '22 06:09 wangzhen-wudangshan

curl --location --request GET 'http://172.16.85.215:18088/ws/v1/cluster/scheduler'
--header 'Accept: application/json'
--header 'Accept-Language: zh-CN,zh;q=0.9'
--header 'Cache-Control: max-age=0'
--header 'Connection: keep-alive'
--header 'Cookie: __utmc=182792038; __utmz=182792038.1654825563.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utma=182792038.1832709514.1654825563.1654825563.1654833206.2; hadoop.auth=; CLOUDERA_MANAGER_SESSIONID=node0rjwbnr4l15pfs530mnpbao4519706.node0'
--header 'Upgrade-Insecure-Requests: 1'
--header 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
--header 'Content-Type: application/json'

@wangzhen-wudangshan 能麻烦改下ip 吧对应的json发我么

vainhope avatar Sep 15 '22 10:09 vainhope

请查收josn文件 myjson.zip

wangzhen-wudangshan avatar Sep 16 '22 02:09 wangzhen-wudangshan

image 队列是正常解析的

建议debug下 com.dtstack.taier.yarn.DtYarnClient#getClusterResource

或者看下日志里面有没有对应 错误日志信息

@wangzhen-wudangshan

vainhope avatar Sep 16 '22 02:09 vainhope