teeyog

Results 15 comments of teeyog

在哪儿都是写Bug,长沙欢迎你

@wonb168 不需要安装啥,你就把它当成一个普通的spark应用程序。

@stillcoolme https://github.com/teeyog/IQL/blob/master/docs/quick-start.md 按这个流程走就行

@Rache555 我在我这边执行了你的语句,报了一样的错误但是engine没有挂,你那边每次都会挂吗?

@Rache555 另外你的子查询中字段别名为什么用数字,还是说你想查出3900条数据?如果是可以这样写: ``` SELECT * from sjjsq_db.dwa_djxx_nsrxx_1 limit 3900 as tb_tmp; SELECT DISTINCT(a.nsrsbh), a.nsrmc,a.scjydz,a.zcdz,a.zcdlxdh,a.scjydlxdh,a.sjgsdq from tb_tmp; ```

@Rache555 加我微信sobigufo

请问当超过半数时: ``` case false ⇒ if (row.isNullAt(i - midField)) { stmt.setNull(i + 1, nullTypes(i - midField)) } else { setters(i).apply(stmt, row, i, midField) } ``` 是否应该是 ``` case false ⇒...

@cjuexuan 我明白你上面说的,但是setters的大小就是```rddSchema.fields.length```,而```setters(i)```中的i在超过半数的时候不减去midField的话是会越界的。

@cjuexuan 明白了,刚才没有注意到```getSetter ```中已经```Array.fill(2)```,谢谢!

@SteveYanzhi ``` import org.apache.hack.spark._ ``` 这里面有隐式转换 ``` implicit def toSparkSqlContextFunctions(spark: SparkSession): SparkSqlContextFunctions = { new SparkSqlContextFunctions(spark) } implicit def toDataFrameFunctions(data: DataFrame): DataFrameFunctions = { new DataFrameFunctions(data) } ``` 完整的整合代码参考 https://github.com/teeyog/IQL/tree/master/iql-spark/src/main/scala/org/apache/spark/sql/execution/datasources/hbase