tis
tis copied to clipboard
datavane
Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
老本有安全风险： https://x-stream.github.io/CVE-2020-26217.html 会升级到： ``` xml com.thoughtworks.xstream xstream 1.4.19 ```
TIS从mysql的date类型自动映射到hive建表后为date类型，但是impala不支持date字段类型，所有impala无法查询date字段 报错信息如下： AnalysisException: Unsupported type 'DATE' in 'test..last_biz_date'.
目前hive导入任务配置不支持 \001 的列分割符 解决办法是通过 在表单中 提供一个下拉列表（其中是分割符号）对应到服务端代码中的枚举结构，提供用户选择，这样就不会有错误了
## 目标 现在TIS发布了一个新的版本需要用户重新下载新的tar包，并且将之前的所有操作流程重新跑一遍。 新版本中需要添加一个自动升级TIS版本的功能，用户只需要设置好需要升级到的新版本的版本号，点击按钮后续流程就会自动执行升级到新的版本上。 不过执行过程中需要注意一个点，要保证新版本中和老版本中的兼容性，不能因为新版本升级之后导致老版本中的功能不能用。这个可以参考一下 1. [https://github.com/siom79/japicmp](https://github.com/siom79/japicmp)， 2. flink中也是通过它来实现新老版本的兼容性的 https://github.com/apache/flink/blob/56ba36db1e3edd0f1c24c53abb2b62cdfabd9bb1/pom.xml#L2048 ## 功能说明
TIS系统后台有异常是经常发生的，例如目标数据库不能正常连接为了排除错误，需要到系统后台去查看异常信息 可以利用TIS Struts的异常拦截器记录下日常信息，然后，可以集中在TIS页面上查看
version: 3.3.0 使用`flink-tis-1.13.1` 组件，将MySQL增量同步到ClickHouse，删除数据时跑异常，异常信息如下 ```java org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:138) at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getFailureHandlingResult(ExecutionFailureHandler.java:82) at org.apache.flink.runtime.scheduler.DefaultScheduler.handleTaskFailure(DefaultScheduler.java:207) at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeHandleTaskFailure(DefaultScheduler.java:197) at org.apache.flink.runtime.scheduler.DefaultScheduler.updateTaskExecutionStateInternal(DefaultScheduler.java:188) at org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:677) at org.apache.flink.runtime.scheduler.SchedulerNG.updateTaskExecutionState(SchedulerNG.java:79) at org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutionState(JobMaster.java:435) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)...
