chunjun

chunjun copied to clipboard

FTP目录能否支持流式数据同步

3

FTP目录能否支持流式数据同步，job运行起来后自动同步FTP目录中新增的文件。

haiying1991

[Feature][ClickHouse] Clickhouse support update sql

5

### Search before asking - [X] I had searched in the [issues](https://github.com/DTStack/chunjun/issues) and found no similar feature requirement. ### Description 当尝试在mysql数据表中更新修改某条或者删除某条数据记录的时候， 出现上述错误。 跟踪源码发现， 当实现增量实时数据同步作业时候，根据rowKind类型的值执行相关操作， 而clickhouse的 DELETE 与UPDATE_BEFORE 具体实现代码为空。 具体如下： ...

FlechazoW

hadoop3.x版本,hdfs connector不支持orc

3

因为hive的版本是1.1.1，不支持3.x版本的hadoop，会失败 

liukunyuan

fix[#621] jdbc connection will disconnection for a while.

6

fix jdbc connection will disconnection for a while.

chaozwn

**Is your feature request related to a problem? Please describe.** A clear and concise description of what the problem is. Ex. I'm always frustrated when [...] **Describe the solution you'd...

guandatawangjialin

checkpoint问题反馈

1

大哥们 我不知道是bug还是使用问题 checkpoint无法被执行 state 始终是null ，我看checkpoint只执行了1-2次就终止了。 方式： chunjun json 类型：mysql-mysql同步 描述：比如cp interval = 30秒 , channel = 3 ,运行1-2分钟后 控制台查看到其中1项状态是FINISHED，其他2项是RUNNING。checkpoint一直在运行。然后checkpoint写快照一直无法被调用 . 在org.apache.flink.runtime.checkpoint.CheckpointCoordinator#getTriggerExecutions 这里被终止。 附上日志： 2022-07-04 17:18:04,952 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] -...

star10k

flinkx 执行批量同步mysql-mysql, update模式：执行一直都是报错

3

BUG信息： JdbcOutputFormat [Flink_Job] writeRecord error: when converting field[0] in Row(+I(18,xulei,22,wuhan)) at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357) at java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1915) at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.quiesceTimeServiceAndCloseOperator(StreamOperatorWrapper.java:168) at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.close(StreamOperatorWrapper.java:131) at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.close(StreamOperatorWrapper.java:135) at org.apache.flink.streaming.runtime.tasks.OperatorChain.closeOperators(OperatorChain.java:439) at org.apache.flink.streaming.runtime.tasks.StreamTask.afterInvoke(StreamTask.java:627) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:589) at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:755) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:570)...

biandou1313

client module supports uploading flinkSQL UDFs

1

Paddy0523

binlog同步到别的mysql数据库时，当table内容为[ "*"]时，会报database.*没权限 解决办法：修改 BinlogUtil#checkTablesPrivilege 方法 if (CollectionUtils.isNotEmpty(tables)) 改为 if (CollectionUtils.isNotEmpty(tables) && !"*".equals(tables.get(0)))

shaolei7788

Update LogParser.java

1

fix issues #774

364220158