dtle
dtle copied to clipboard
support Oracle Logminer extractor
Logminer Docs
ref:https://docs.oracle.com/cd/B19306_01/server.102/b14215/logminer.htm
技术方案
DTLE Oracle extractor 通过 SQL driver 轮询读取Oracle server 端的 logminer 数据(对应的是redo log的内容),通过 SCN 作为查询区间,每次向前滑动读取数据。
数据一致性问题
- 支持按事务读取: #815
- 任务重启恢复: #816
遗留问题
- [ ] 是否同步LOB_WRITE,LOB_TRIM, LOB_ERASE,SEL_LOB_LOCATOR 事件,这几个事件与BLOB等大字段有关。需要先确认DDL支持后才考虑支持
- [ ] 支持PDB(多租户,oracle 12开始支持),看起来租户的隔离性体现在 logminer 查询log记录的SQL中的筛选该PDB
- [ ] DTLE Oracle extractor 通过 SQL driver 轮询读取的间隔目前写死的5秒,后期考虑优化为动态数值
- [ ] DTLE Oracle extractor 通过 SQL driver 轮询的SCN区间目前写死的100000,后期考虑优化为动态数值