flinkStreamSQL

flinkStreamSQL copied to clipboard

flinkStreamSQL 这个项目是否支持 华为云版本的fi 的flink sql ? 有人试过吗?

1

flinkStreamSQL 这个项目是否支持 华为云版本的fi 的flink sql ? 有人试过吗? 我目前想整flink sql 基于华为云上的 flink 版本? 好整吗? 有啥建议吗?

ithjz

1.[kudu][async] 修复kudu异步维表primary key 类型转化导致查询失败； 2.[core] 为了避免因为权限校验导致的任务失败，先将权限校验的默认值改为false； 3.[core] 修复脏数据在设置了remoteSqlPluginPath时任务提交失败，抛出找不到脏数据插件路径的异常； 4.[http] 解决http发送中文乱码； 5.[file] File source 增加脏数据的记录； 6.[dirty] 修改dirty plugins的插件地址参数，移除remoteSqlPlugin影响； 7.[http] 使用PoolingHttpClientConnectionManager来创建连接线程池； 8.[file] 优化File source 代码，移除location, hdfsSite, coreSite等不必要参数，调整FileSourceTableInfo的结构，将Csv、Json、Arvo等拆分为独立类； 9.[impala] fix String.replaceFirst中的坑，replaceFirst("\\?", value)，如果value中$后不是数字，那么会出现"illegal group...

FlechazoW

Standalone模式提交怎么会调用异常？

2

Exception in thread "main" org.apache.flink.client.program.ProgramInvocationException: Could not run job in detached mode. (JobID: bda69dcfcf4c7257870f762a0230c40d) at org.apache.flink.client.ClientUtils.submitJob(ClientUtils.java:88) at com.dtstack.flink.sql.launcher.executor.StandaloneExecutor.exec(StandaloneExecutor.java:67) at com.dtstack.flink.sql.launcher.LauncherMain.main(LauncherMain.java:149) Caused by: java.util.concurrent.ExecutionException: org.apache.flink.runtime.client.JobSubmissionException: Failed to submit JobGraph. at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357)...

jiaenqiu

1. 支持elasticsearch7 sink以及side，并完善其文档 2. 支持脏数据管理 3. 支持file source 4. impla插件批量写入失败时改为单条insert 5. 支持http sink

HiLany

insert into MyResult select r1.actionNum as actionNum, r1.IMEI as IMEI, r1.IMEIList as IMEIList, r1.IMEIStatus as IMEIStatus, r1.belongWarehouseId as belongWarehouseId, r1.belongCustomerId as belongCustomerId, r1.brand as brand, r1.product as product, r1.marketing_name as...

jianlan519588

yujiayue0815

yarnPer模式下作业任务失败

3

采用yarnPer模式提交任务，任务运行一段时间状态就变为了Finished,且FinalStatus是failed,请问该如何排查呢，查看yarn的日志中也没有任何记录，是需要在哪里配置log4j.properties嘛，烦请告知下

blackMoutin

提交任务至yarn session时,flink管理界面没有可运行的任务

2

我的提交命令是： sh submit.sh -sql /home/sideSql4.txt -name ff -remoteSqlPluginPath /home/flinkStreamSQL-1.8.0_release/flinkStreamSQL-1.8.0_release/plugins -localSqlPluginPath /home/flinkStreamSQL-1.8.0_release/flinkStreamSQL-1.8.0_release/plugins -mode yarn -yarnconf /opt/cloudera/parcels/CDH/etc/hadoop/conf.dist -flinkconf /home/flink-1.8.0/conf -confProp \{\"time.characteristic\":\"EventTime\",\"sql.checkpoint.interval\":10000\} -yarnSessionConf \{\"yid\":\"application_1579007643767_0009\"} 查看nohup.out时，显示一下信息： SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting...

lijianfeng6666526

join后的where中流表和维表同名字段值取反

3

flinkStreamSQL 10月中旬 1.8.7_release分支代码问题 

zjfplayer

sink oracle端的时候偶尔有几个任务出现 kafka接收到数据有 Initializing C3P0 pool

3

数据流转 kafka -flink-oracle yarn-per 模式。能再yarn上运行起来，但在kakfa接收到数据之后就一直卡在Initializing C3P0 pool 

tonyC2016