xiaoniuma

Results 26 comments of xiaoniuma

> 可以看一下这个文档 https://www.secretflow.org.cn/zh-CN/docs/secretpad/v0.6.0b0/development/SUPPORT_MYSQL > > 目前secret是sqllite数据库, 可以切换到mysql 我可能没有描述清楚,是指支持的数据源 ,支持mysql,不是元数据存储到mysql

> 目前是不支持mysql的数据源,可以描述一下具体需要用到的场景 就是用户的数据,是存储在mysql中,具体的数据库和表都会存在用户侧,然后平台在做psi的时候,会直接从mysql中获得数据参与psi的计算

> hi @secretflowcode kuscia 的 Datamesh 模块负责管理 数据与数据源的metadata ,代码参考:https://github.com/secretflow/kuscia/tree/main/pkg/datamesh secretflow 中 对接 Datemesh 的代码可参考 :https://github.com/secretflow/secretflow/blob/main/secretflow/kuscia/datamesh.py 多谢,多谢,我看看,还有一个方案,就是每次计算的时候,主动先把数据从mysql抽到pad容器里面作为csv文件处理

还有一个方案,就是对kuscia 中的task_input_config uri 值进行判断,对于传入的Mysql类型,进行Mysql数据的读取

目前在secretpad端读取mysql数据,再上传到数据库,错误日志如下: [consumer.txt](https://github.com/user-attachments/files/16095613/consumer.txt) [supplier.txt](https://github.com/user-attachments/files/16095615/supplier.txt)

> 你好,请问一下使用的secretpad版本和kuscia版本是什么? 另外检查一下psi的组件版本~ kuscia:0.7.0b0 psi 0.0.1 secretflow:1.5.0 psi 0.0.4

> 进入secretpad容器,grep -C 10 '任务id' /app/log/secretpad.log | grep -C 10 'o.s.s.s.s.p.DataSyncConsumerTemplate',看下PSI的版本号传参是什么 2024-07-05 15:38:33 [http-nio-8080-exec-1] INFO o.s.s.s.g.a.NodeDefAdapterFactory - - nodeDefAdapter nodeDef : domain: "data_prep" name: "psi" version: "0.0.2"

大家有没有遇到这样的问题

kuscia 容器是通过k8s 的deployment yaml文件启动,和官网的k8s 部署方式不一样,官网提供的是runk 或者runp 方式,runc的方式,目前官网提供的install脚本安装 目前,我们改成install 脚本将容器启动后,获得容器启动依赖的配置文件,然后在yaml中将配置文件挂载到容器的启动目录下 因为没有启动成功,通过docker logs 只能看到host IP unknown

通过docker inspect 查看启动的镜像,发现少了 Networks的信息,当使用install脚本启动时候,会生成下面信息: "Networks": { "kuscia-exchange": { "IPAMConfig": null, "Links": null, "Aliases": null, "MacAddress": "xxxx", "NetworkID": "xxx", "EndpointID": "xx", "Gateway": "xxx", "IPAddress": "xxx", "IPPrefixLen": xxx, "IPv6Gateway": "", "GlobalIPv6Address": "",...