凌霄
凌霄
kongxiaoran Give it to me
# Kuscia 接入达梦数据源 设计方案 ## 1. 概述 ### **1.1. 背景** Kuscia目前已支持 MySQL、PostgreSQL 等常用数据库,但缺少对达梦数据库的直接支持。本次issue需要为 DataProxy 开发一个新的数据源插件 `dataproxy-plugin-dameng`,实现对达梦数据库的高效、可靠读写,打通上层计算应用与达梦数据库之间的数据链路。 ### **1.2. 目标** * 开发一个独立的、可插拔的达梦数据源插件。 * 实现 DataProxy 与达梦数据库之间基于 Apache Arrow 格式的数据双向流动。 * 确保数据类型映射的准确性,特别是数值、日期和文本类型。...
我发现在进行jdbc类型转化为arrow类型时,有些数据类型如果可以获取到长度、精度信息,可以更好、合理的映射到 arrow 上。比如 DECIMAL、TIMESTAMP以及BINARY等。 那么是否要修改框架代码支持传递 `COLUMN_SIZE` 和 `DECIMAL_DIGITS` 信息: `ArrowType arrowType = this.jdbcType2ArrowType.apply(columnType, columnSize, decimalDigits);`,再做精细化处理。 还是说不改动框架代码,先简单实现即可。
# Kuscia支持达梦数据库测试记录 ## 一、准备模拟数据 1. 创建schema ``` create user KUSCIA identified by 1234567890; ``` 2. 创建测试表 ``` -- 删除已存在的表(如果存在) DROP TABLE IF EXISTS COMPREHENSIVE_TYPE_TEST; -- 创建测试表 CREATE TABLE COMPREHENSIVE_TYPE_TEST (...