secretpad icon indicating copy to clipboard operation
secretpad copied to clipboard

SecretPad组件库中是否有神经网络类模型训练和模型预测组件

Open zhangyufenggit opened this issue 6 months ago • 17 comments

SecretPad组件库中是否有神经网络类模型训练和模型预测组件

zhangyufenggit avatar Jun 25 '25 16:06 zhangyufenggit

没有,secretpad所有组件可以参考官网组件说明

zimu-yuxi avatar Jun 26 '25 02:06 zimu-yuxi

没有,secretpad所有组件可以参考官网组件说明

我看这个文档中咱们SPU中是有神经网络的,理论上能否按照组件扩展标准封装成一个组件呢? https://www.secretflow.org.cn/zh-CN/docs/secretflow/v1.12.0b0/tutorial/nn_with_spu

zhangyufenggit avatar Jun 26 '25 02:06 zhangyufenggit

是的,secretpad定义的有nn的组件,但是需要使用secretflow的FULL版本镜像,而非lite镜像,同时修改下kuscia的注册的镜像,然后将application.yaml隐藏的组件打开,看下该组件是否满足 如果不满足,可以二开SecretFlow来自己定义新的组件

zimu-yuxi avatar Jun 26 '25 03:06 zimu-yuxi

是的,secretpad定义的有nn的组件,但是需要使用secretflow的FULL版本镜像,而非lite镜像,同时修改下kuscia的注册的镜像,然后将application.yaml隐藏的组件打开,看下该组件是否满足 如果不满足,可以二开SecretFlow来自己定义新的组件

老师,在all-in-one部署方式下,【使用secretflow的FULL版本镜像】、【修改kuscia的注册的镜像】具体操作步骤是什么呢?谢谢

zhangyufenggit avatar Jun 26 '25 03:06 zhangyufenggit

1.可以看下现在secretflow镜像名中有-lite,去掉就可以,可以docker pull来拉 2.镜像注册参考这里

zimu-yuxi avatar Jun 26 '25 03:06 zimu-yuxi

1.可以看下现在secretflow镜像名中有-lite,去掉就可以,可以docker pull来拉 2.镜像注册参考这里

老师,目前我已经注册好secretflow的full版本镜像,组件库也已经可以看到该组件,但实际运行的时候报错,麻烦帮忙看下这个环境变量在哪里配置呢,具体调整哪个yaml文件呢?

Image

zhangyufenggit avatar Jun 30 '25 06:06 zhangyufenggit

参考此处,尝试在appimage的env中增加

zimu-yuxi avatar Jun 30 '25 10:06 zimu-yuxi

前置工作都已经完成了,目前可以看到神经网络组件了,但运行时报错,附件为all-in-one部署的两个节点相关日志,node148为发起方,也是Y方,麻烦帮忙看下是什么问题,谢谢!

node148.tar.gz

node149.tar.gz

zhangyufenggit avatar Jul 05 '25 10:07 zhangyufenggit

确认下,secretpad和使用的Secretflow版本分别是多少

zimu-yuxi avatar Jul 07 '25 07:07 zimu-yuxi

确认下,secretpad和使用的Secretflow版本分别是多少

secretpadImage版本:0.12.0b0 secretflowImage版本:1.11.0b1

zhangyufenggit avatar Jul 07 '25 07:07 zhangyufenggit

方便提供下组件配置详细的截图吗? 看日志报错很多,有输入的特征数和模型期望的特征数不一致

zimu-yuxi avatar Jul 08 '25 02:07 zimu-yuxi

1、特征列:

Image 2、标签列:label 3、模型:(组件默认,未修改) # pre imported:# import tensorflow as tf# from tensorflow import Module, keras# from tensorflow.keras import Model, layers# from tensorflow.keras.layers import Layer# from secretflow.ml.nn import applications as appsdef create_base_model(input_dim, output_dim): model = keras.Sequential( [ keras.Input(shape=input_dim), layers.Dense(100, activation="relu"), layers.Dense(output_dim, activation="relu"), ] ) return modeldef create_fuse_model(input_dim): input_layers = [keras.Input(input_dim), keras.Input(input_dim)] merged_layer = layers.concatenate(input_layers) fuse_layer = layers.Dense(64, activation='relu')(merged_layer) output = layers.Dense(1, activation='sigmoid')(fuse_layer) return keras.Model(inputs=input_layers, outputs=output)hidden_size = 64fit( client_base=create_base_model(12, hidden_size), server_base=create_base_model(4, hidden_size), server_fuse=create_fuse_model(hidden_size),) 4、其它也都是默认参数,未修改: Image

zhangyufenggit avatar Jul 08 '25 06:07 zhangyufenggit

是不是和使用的数据有关呢?咱们有验证这个组件的测试数据么?是否可以发给我,我验证一下,谢谢。

zhangyufenggit avatar Jul 08 '25 07:07 zhangyufenggit

麻烦问下这个问题有进展么,谢谢

zhangyufenggit avatar Jul 13 '25 14:07 zhangyufenggit

尝试减少一些特征数量尝试下 4/12 。

wangzul avatar Jul 17 '25 10:07 wangzul

是不是和使用的数据有关呢?咱们有验证这个组件的测试数据么?是否可以发给我,我验证一下,谢谢。

这部分功能目前没有人员进行维护,暂时不清楚是否有相关的测试数据,我们内部还需要讨论下,有进展再和您回复。

wangzul avatar Jul 17 '25 10:07 wangzul

尝试减少一些特征数量尝试下 4/12 。

已经尝试减少特征,依然有问题。是否可以通过升级SecretFlow版本解决这个问题?

zhangyufenggit avatar Jul 21 '25 09:07 zhangyufenggit