datavines icon indicating copy to clipboard operation
datavines copied to clipboard

[Feature][datavines-engine] spark从hive获取数据jdbc问题

Open 954031894 opened this issue 1 year ago • 2 comments

Search before asking

  • [X] I had searched in the feature and found no similar feature requirement.

Description

我在计算hive中的表时,遇到了一些问题。尝试解决,看到datavines源码时有一些问题。 spark引擎模块的jdbc连接模块datavines-engine-spark-connector-jdbc的io.datavines.engine.spark.jdbc.source.JdbcSource的getData方法。我看到符合enableHiveSupport以及Hive的驱动,就可以直接返回Hive的数据,但是由于我没有找到设置enableHiveSupport的位置,导致返回的是后面的通用的jdbc连接的数据,我想知道这里enableHiveSupport在哪里进行设置

1.源码图示 image 2.spark-submit提交任务给的json有关配置 image 在环境的conf中一直为null,我没有找到找到通过datavines设置这个的方法

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • [ ] Yes I am willing to submit a PR!

954031894 avatar Jan 30 '24 03:01 954031894

现在暂时不支持spark直接读取hive数据,预计年后上

zixi0825 avatar Feb 01 '24 07:02 zixi0825

好的好的

954031894 avatar Feb 02 '24 05:02 954031894

现在已经支持Spark直接读取hive数据了,hive数据源中的配置【spark.enable.hive.support=true】 就可以

zixi0825 avatar Jul 15 '24 11:07 zixi0825