scql

scql copied to clipboard

关于在数据量达到几十万量级后出现运行过程中卡在某个算子的情况

26

经过对scql的测试发现在量级达到几十万后，经常会出现卡在某个算子无法运行完的情况，如下图所示：  中间结果量级为50w，sort算子无法运行完成（已运行了十几个小时） 且整个过程中未发现cpu/内存/带宽的瓶颈，事实上这几项都消耗的很少，所以像是莫名其妙的阻塞了 请问针对这种现象有没有什么建议？如何能够最大化的发挥机器的性能？

shenpeilin

> 此 ISSUE 为 [隐语开源共建计划（SecretFlow Open Source Contribution Plan，简称 SF OSCP）Phase 5 ](https://studio.secretflow.com/activity/yi9qqz2bvslnbqf/detail)任务 ISSUE，欢迎社区开发者参与共建～ > - 认领前，辛苦确认是否完成[报名](https://studio.secretflow.com/activity/yi9qqz2bvslnbqf/detail)～ > - 详细规则：[「代码季」详细活动说明](https://github.com/secretflow/secretflow/issues/1861) > - 更多任务，可查看 [「OSCP Phase5 Season of Dev」Project](https://github.com/orgs/secretflow/projects/13) > >...

Candicepan

关于使用ArrowSql作为数据源的问题

12

您好，我想请教下，使用中心化部署的集群，scqlEngine配置arrowSql,但是在执行查询的时候出现如下异常 `2024-01-26 09:49:15.725 [error] [engine_service_impl.cc:RunPlanSync:364] [scqlengine] RunExecutionPlan run jobs(2ab24365-bc30-11ee-bb39-0242ac1a0002) failed, catch std::exception=[engine/datasource/arrow_sql_adaptor.cc:124] IOError: Flight returned unauthenticated error, with message: . Detail: Unauthenticated` 其中sqlEngine的gflags.conf的配置如下 `--listen_port=8080 --datasource_router=embed --enable_driver_authorization=false # 开启tls --server_enable_ssl=true --driver_enable_ssl_as_client=true...

coffee1110

关于Group by的疑问和思考

2

首先对隐语的开源贡献表示深深的敬意，隐语丰富的文档和视频课程为社区用户提供了大量有价值的知识点和Idea！ 学习完隐语关于SCQL的两节慕课，我有两个疑问： 1. Vertical Group By的实现原理是怎样的？ 我自己思考了下，在实际的数据水平切割场景中，Group By的Key大概率是个枚举类型。大家先各自做分组和聚合，然后按Key排序，并用占位符补齐缺失Key的聚合Value，这样保证各方的数据对齐，然后再执行MPC（加法/比较），这样密态计算的开销就很小了。不知道这种思路和SCQL的实现差别有多少。 2. 数据垂直切分场景中的分组后求最值是怎么实现的？ 视频课程中详细介绍了HESum Group By，我理解它是解决SUM的问题，那如果是要计算最值呢。借鉴同态的思路，我在想揭序加密(ORE)是否能用上，有Value的一方用一个随机盐和私钥加密所有Value，然后把密文发给有分组的一方，基于密文求出最值，最后给到有Value的一方解密。 期待社区的回复~

Shareong

SCQL中orderby问题

6

JiPZou

SCQL engine连接pgsql报错

2

把scql engine的数据源换成pgsql，在client执行查询语句，报如下错误，请问应该怎么修改配置？ `[demo]alice> SELECT ta.credit_rank, COUNT(*) as cnt, AVG(ta.income) as avg_income, AVG(tb.order_amount) as avg_amount FROM ta INNER JOIN tb ON ta.ID = tb.ID WHERE ta.age >= 20 AND ta.age

Rufus369

scql支持kuscia吗

3

什么时候能支持kuscia

walkovernamtso

扩展对多数据源支持

7

期望scql 对mysql、oracle、pg 、hive、csv 等常见数据源提供支持。

songsong124

can provide `help` statement in the scdbclient prompt?

1

like the [MySQL HELP statement](https://dev.mysql.com/doc/refman/8.0/en/help.html). I guess it's helpful for newcomers. Thank you~

imwangyt

设置数据源 启动失败

2

球球大佬们 拜托看看::: 修改配置数据源之后 p2p-tutorial-broker_alice-1 和 p2p-tutorial-broker_bob-1 起不来 设置为oceanbase了 启动： (cd examples/p2p-tutorial && docker compose up -d) 启动后查看： (base) [root@localhost scql]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES...

byeyang