GaoYN

Results 9 comments of GaoYN

我尝试使用master2作为MasterFE,master2,node4,slave1作为BE时,发现这样部署没有任何问题,通过观察二者日志,我发现时启动指令的不同导致的,我不知道为什么会导致这样的差异 slave1作为FE时的日志 master2作为FE时的日志

If the on Yarn mode is indeed like this, but when I deploy Spark3, even the workers cannot deploy it. There is no such option, only the client. I don't...

I understand the reason now. In On Yarn mode, there is no need for a master or work, only the client needs to submit tasks. The past deployment methods have...

1. datavines报错提示 2. 根据报错信息找到报错位置spark2.4.8的jars的hive-jdbc版本是1.2.1.spark2(该版本没有setQueryTimeOut方法)

直接更换spark得hive相关jar包吗?这个的话已经尝试过了,还是报错,调用的一些函数找不到。修改spark2.4.8源码的hive版本也不行,同样是一些函数。

我这边这个修改了hive-jdbc-1.2.1.spark2的HiveStatement中这个方法,没有让他抛出异常,而是声明了一个变量,并在该方法中进行赋值。目前不会抛出这个异常。 但是油抛出sql分析异常。我这边正在尝试解决。 我这边这些问题都发生在Hive表中,在doris中没有发现这些问题