scql

scql copied to clipboard

此 ISSUE 为 隐语开源共建计划（SecretFlow Open Source Contribution Plan，简称 SF OSCP）Phase 5 任务 ISSUE，欢迎社区开发者参与共建～

• 认领前，辛苦确认是否完成报名～
• 详细规则：「代码季」详细活动说明
• 更多任务，可查看 「OSCP Phase5 Season of Dev」Project

This ISSUE is one of the tasks of the SecretFlow Open Source Contribution Plan (referred to as SF OSCP) Phase 5. Welcome to join us in building it together!

• Before claiming a task, please make sure you have signed up.
• Activity rules: Detailed activity description of "Season of Dev"
• For more tasks, you can check the "OSCP Phase5 Season of Dev" Project.

任务介绍

• 任务名称：SCQL 支持 Hive 数据源
• 技术方向：SCQL
• 任务难度：挑战🌟🌟🌟
• 任务期望时间：7 周

详细要求

SCQL 当前内置 MySQL, Postgres, CSV 等相关的 connector，也集成了 apache arrow flight sql client 支持从 http server 中获取数据。请选择一种合适的实现方式，支持 SCQL 获取 hive 中的数据。

能力要求

• 了解基本 git 操作
• 熟悉 Hive，使用过 Hive
• 熟悉 Go 和 C++
• 对 SCQL 有一定的了解，上手体验过 SCQL，了解 SCQL 的代码结构
• 了解 apache arrow flight sql(optional)

操作说明

需要实现两大部分的逻辑：

• 在 SCDB 里实现 Hive Dialect
• Engine 里实现 Hive connector，有两种可行方式 (1) 直接实现 c++ 的 hive connector 从 hive 中获取数据 (2) 实现兼容 apache arrow flight sql 的 server，在 server 中实现获取 hive 数据的能力，通过 scqlengine 中提供的 arrow flight sql client 连接 server 间接获取数据