spark-authorizer icon indicating copy to clipboard operation
spark-authorizer copied to clipboard

Published 20 hours ago • verified publisher icon yaooqinn

spark-authorizer没有生效

Open wa-ooo opened this issue 4 years ago • 4 comments

在spark-defaults.conf中配置spark.sql.extensions=org.apache.ranger.authorization.spark.authorizer.RangerSparkSQLExtension的方式 ，extensions 没有生效。 查看源码SparkSessionWithUGI.create方法中，使用反射创建SparkSession。并没有对extensions进行初始化 帮忙看看这是否有问题。还是我使用方法有问题

kyuubi:0.7 spark:2.4.8

wa-ooo avatar Nov 24 '20 07:11 wa-ooo

Kyuubi 0.x 和这个项目一起用的话，貌似只能用spark 2.3.2，不能走spark.sql.extensions

参考代码中的配置方式

https://github.com/yaooqinn/kyuubi/blob/v0.7.0/kyuubi-server/src/main/scala/yaooqinn/kyuubi/author/AuthzHelper.scala#L30

yaooqinn avatar Nov 24 '20 08:11 yaooqinn

@yaooqinn 好的，感谢指导❀

wa-ooo avatar Nov 24 '20 08:11 wa-ooo

@yaooqinn 抱歉，打扰下，按照新的配置后还是不能工作。Authorizable.apply 中spark.sharedState.externalCatalog貌似总是匹配不了HiveExternalCatalog

wa-ooo avatar Nov 24 '20 09:11 wa-ooo

你说的太简单了

yaooqinn avatar Nov 24 '20 10:11 yaooqinn