tis
tis copied to clipboard
Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
老本有安全风险: https://x-stream.github.io/CVE-2020-26217.html 会升级到: ``` xml com.thoughtworks.xstream xstream 1.4.19 ```
离线T+1 怎么定时?
![lQLPDhsYO_qtpdTNAujNBf2wMqSaASkkIsYB-GDv2sCpAA_1533_744](https://user-images.githubusercontent.com/21274618/151355812-9b8ba046-8f29-43e7-84f8-1f1efca18df5.jpg)
Orcale到MySQL的实时同步能支持吗
TIS从mysql的date类型自动映射到hive建表后为date类型,但是impala不支持date字段类型,所有impala无法查询date字段 报错信息如下: AnalysisException: Unsupported type 'DATE' in 'test..last_biz_date'.
目前hive导入任务配置不支持 \001 的列分割符 解决办法是通过 在表单中 提供一个下拉列表(其中是分割符号)对应到服务端代码中的枚举结构,提供用户选择,这样就不会有错误了
## 目标 现在TIS发布了一个新的版本需要用户重新下载新的tar包,并且将之前的所有操作流程重新跑一遍。 新版本中需要添加一个自动升级TIS版本的功能,用户只需要设置好需要升级到的新版本的版本号,点击按钮后续流程就会自动执行升级到新的版本上。 不过执行过程中需要注意一个点,要保证新版本中和老版本中的兼容性,不能因为新版本升级之后导致老版本中的功能不能用。这个可以参考一下 1. [https://github.com/siom79/japicmp](https://github.com/siom79/japicmp), 2. flink中也是通过它来实现新老版本的兼容性的 https://github.com/apache/flink/blob/56ba36db1e3edd0f1c24c53abb2b62cdfabd9bb1/pom.xml#L2048 ## 功能说明
TIS系统后台有异常是经常发生的,例如目标数据库不能正常连接为了排除错误,需要到系统后台去查看异常信息 可以利用TIS Struts的异常拦截器记录下日常信息,然后,可以集中在TIS页面上查看
version: 3.3.0 使用`flink-tis-1.13.1` 组件,将MySQL增量同步到ClickHouse,删除数据时跑异常,异常信息如下 ```java org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:138) at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getFailureHandlingResult(ExecutionFailureHandler.java:82) at org.apache.flink.runtime.scheduler.DefaultScheduler.handleTaskFailure(DefaultScheduler.java:207) at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeHandleTaskFailure(DefaultScheduler.java:197) at org.apache.flink.runtime.scheduler.DefaultScheduler.updateTaskExecutionStateInternal(DefaultScheduler.java:188) at org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:677) at org.apache.flink.runtime.scheduler.SchedulerNG.updateTaskExecutionState(SchedulerNG.java:79) at org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutionState(JobMaster.java:435) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)...