chunjun
chunjun copied to clipboard
DTStack
A data integration framework
写入数据到sftp的时候，FtpColumnConverter#toExternal 方法，List columnData = new ArrayList(ftpConfig.getColumn().size()); 当RowData 第一个元素为null时，再去调用columnData.set方法会报错 解决办法： List columnData = new ArrayList(ftpConfig.getColumn().size()); 改成 List columnData = Arrays.asList(new String[ftpConfig.getColumn().size()]); 然后修改 FtpColumnConverter#createExternalConverter方法 将list.add改成 list.set
flinksql 数据分组后按2000一组批量写到Clickhouse，但是发现ck中每组数据都有2000条 
想咨询下我用的是sql脚本任务，从mysql-x到clickhouse-x时，当mysql数据发生删除或修改时，ck是没有变化的，请问这个有谁遇到过？有什么解决方法吗？ sql脚本如下： CREATE TABLE source ( id varchar, name varchar, code varchar, ct bigint ) WITH ( 'connector' = 'mysql-x', 'url' = 'jdbc:mysql://localhost:3306/test', 'table-name' = 'strtest3', 'username' = 'root', 'password'...
**Describe the bug** sink会报空指针问题 **To Reproduce** 1、在类MongodbDynamicTableSink中走的是 ``` MongodbOutputFormatBuilder builder = new MongodbOutputFormatBuilder( mongoClientConf, null, MongodbOutputFormat.WriteMode.INSERT); ``` 这个构造方法，如下代码所示 ``` public class MongodbDynamicTableSink implements DynamicTableSink { ....... @Override public SinkRuntimeProvider getSinkRuntimeProvider(Context...
1. 1.14.4 支持yarn-per-job 2. flinkx-connector-kafka 基于1.14.4代码升级
hbase的数据用GenericRowData组装后，强转为ColumnRowData会报类转换异常  
binlog-x到mysql-x中，删除source表数据，无法同步到sink表，删除的数据还在sink表中，添加/修改都是可以同步的，请问怎么回事咧？
新代码中OracleLogMinerInputFormatBuilder.checkFormat()中 config.getPavingData() && config.isSplit()为true时,抛出 can't use pavingData and split at the same time异常,这两个字段在用sql模式时,OraclelogminerDynamicTableFactory.getLogMinerConf()方法中是默认为true的
最新官方网站：https://dtstack.github.io/chunjun-web/ 建议先看下quick start：https://dtstack.github.io/chunjun-web/docs/chunjunDocs/quickstart ## 写在前面 目前在编译主干分支上的代码的时候 遇到了很多问题，按照官网文档编译 是完全编译不出来的，希望大佬们能修正下文档内容，以下是我基于master分支编译步骤 仅供参考 ## 编译步骤 ### 1.获取代码 略 ### 2.安装依赖的jar包 flinkx 写了很多connecotrs ，并且将驱动包放在了对应的 jars 目录中，在正式编译之前强烈建议先完成 驱动包的安装，可以使用工程中的脚本执行 具体执行目录如下 **flinkx/bin/install_jars.sh** ```shell cd flinkx/bin/install_jars.sh sh install_jars.sh ```...
**Is your feature request related to a problem? Please describe.** Build or run with jdk 11 error. 1. Build: Cannot resolve symbol 'ObjectSizeCalculator', jdk.nashorn.internal.ir.debug.ObjectSizeCalculator 2. Run: Exception in thread "main"...
