secretpad icon indicating copy to clipboard operation
secretpad copied to clipboard

单条数据量级限制

Open littleunicorn opened this issue 1 year ago • 26 comments

Issue Type

Running

Have you searched for existing documents and issues?

Yes

OS Platform and Distribution

docker服务

All_in_one Version

v1.6.1b0

Module type

secretpad

Module version

v1.6.1b0

What happend and What you expected to happen.

隐私求交,特征比较多时,执行报错

Log output.

特征比较多时,执行报错

littleunicorn avatar Jul 09 '24 03:07 littleunicorn

image

littleunicorn avatar Jul 09 '24 03:07 littleunicorn

你好,你的维度是多少。

aokaokd avatar Jul 09 '24 03:07 aokaokd

你好,你的维度是多少。

800维,float型

littleunicorn avatar Jul 09 '24 03:07 littleunicorn

image

littleunicorn avatar Jul 09 '24 03:07 littleunicorn

好的。我们复现一下,一会给你同步

aokaokd avatar Jul 09 '24 06:07 aokaokd

你好,请问你的数据量是多少行的,数据是脱敏的吗,可以提供下吗

aokaokd avatar Jul 09 '24 06:07 aokaokd

你好,你的数据是脱敏的吗,可以提供下吗

就是隐私求交后,全表统计执行的时候,报错,两个图片都是报错信息

littleunicorn avatar Jul 09 '24 06:07 littleunicorn

1.确认下双方的数据量级,是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

aokaokd avatar Jul 09 '24 07:07 aokaokd

1.确认下双方的数据量级,是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

100w行,800维,因为报错信息,我看是报的单条数据过大,所以和行数无关 容器的内容我已经调整过了100+G的内存,我理解属于单条数据容量限制问题

littleunicorn avatar Jul 09 '24 08:07 littleunicorn

好的,辛苦。稍等一下,我们这边看下

aokaokd avatar Jul 09 '24 08:07 aokaokd

您好。 辛苦您提供下日志的上下文呢

aokaokd avatar Jul 09 '24 08:07 aokaokd

您好。 辛苦您提供下日志的上下文呢

image

littleunicorn avatar Jul 09 '24 08:07 littleunicorn

您好。 辛苦您提供下日志的上下文呢

很多数据,数据格式用的都是之前能跑通流程的格式搞的

littleunicorn avatar Jul 09 '24 08:07 littleunicorn

1.确认下双方的数据量级,是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

100w行,800维,因为报错信息,我看是报的单条数据过大,所以和行数无关 容器的内容我已经调整过了100+G的内存,我理解属于单条数据容量限制问题

我的数据文件是100w行 * 1000维的特征,我选了top的800维,报错的,我看日志,读入数据的时候,还是1000维都读入的,数据处理是800维的,这个数据处理报错,请问是什么原因?列限制?还是单条数据容量限制? 之前沟通是列没有限制的,但根据报错情况分析,感觉是这个因素,麻烦帮忙看下

littleunicorn avatar Jul 09 '24 08:07 littleunicorn

好的,收到您的反馈。请稍等一下

aokaokd avatar Jul 09 '24 09:07 aokaokd

好的,收到您的反馈。请稍等一下

还有个疑问,就是我复现之前能跑通的流程现在也跑不通了,这个是啥情况?也没有日志信息 image

littleunicorn avatar Jul 09 '24 09:07 littleunicorn

辛苦您到目录里面看下执行日志:

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

aokaokd avatar Jul 10 '24 06:07 aokaokd

辛苦您到目录里面看下执行日志:

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

没有这个日志

littleunicorn avatar Jul 10 '24 08:07 littleunicorn

对侧机构方有日志吗

aokaokd avatar Jul 10 '24 08:07 aokaokd

对侧机构方有日志吗

这个目前不大方便看,不过两个取数都是OK的,到隐私求交这里一直报错了,之前这里不报错的,也没有调度侧的日志

littleunicorn avatar Jul 10 '24 08:07 littleunicorn

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题,单行内容超限制导致失败的这个有结论了么?

littleunicorn avatar Jul 10 '24 08:07 littleunicorn

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题,单行内容超限制导致失败的这个有结论了么?

尝试减少下维度试一下呢

zimu-yuxi avatar Jul 10 '24 09:07 zimu-yuxi

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题,单行内容超限制导致失败的这个有结论了么?

尝试减少下维度试一下呢

之前沟通的时候,和我说是没有维度限制,但发现其实是有限制的;所以让你们看看,一方面是确认维度的具体限制情况,其次是看下能否解决入模隐私求交后续流程的维度限制问题 不然对于特征维度比较多的场景就没法用了

littleunicorn avatar Jul 10 '24 12:07 littleunicorn

辛苦您到目录里面看下执行日志:

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log,在pad 页面上可以看到你的taskId。

没有这个日志

image 你提供的路径,无此路径,相关路径找了,也没有对应taskid对应的日志路径生成 没有报错日志,我看info的相关情况应该是这个原因,但机器我没做过调整,为啥b接收不到a的资源呢?

littleunicorn avatar Jul 15 '24 03:07 littleunicorn

对于维度个数没有限制。但是过多,请求体会超出服务器配置的限制,默认的限制大小应该是3MB(3145728字节)。

zimu-yuxi avatar Jul 15 '24 06:07 zimu-yuxi

对于维度个数没有限制。但是过多,请求体会超出服务器配置的限制,默认的限制大小应该是3MB(3145728字节)。

这个请问怎么调整配置?内存配置调整过,所以行数应该OK了,现在维度这个限制怎么调整还请告知下

littleunicorn avatar Jul 15 '24 06:07 littleunicorn