FATE

FATE copied to clipboard

Reader及DataTransform组件的配套使用问题

3

现在fate编排一个dsl、首先是reader、然后需要接一个datatransform（也就是以前的dataio）、然后再接其他的一些算法组件 其中datatransform这个组件主要就是做一些数据预处理、对数据做一些不同的预处理功能、类似定义标签列、指定标签列类型、指定数据分隔符等等 但是我测试了下、如果dsl中，reader组件后面不接datatransform、直接接类似lr这个算法组件、会直接报错，报错如下：  报错的原因在于数据类型不对、因为datatransform里有一个操作、就是会将从reader中读到的数据、转换成federatedml.feature.instance.Instance这样一个数据结构、只要执行了这个操作、dsl中后面的算法组件如lr就可以执行成功，如下图：  但是 “将从reader中读到的数据、转换成federatedml.feature.instance.Instance这样一个数据结构” 这个转换操作、是datatransform里面的一个必做操作、就是说即使datatransform组件暴露出来的任何参数用户都不配置、也会执行将reader读出来的数据转换为federatedml.feature.instance.Instance这样一个数据结构的操作 那么为啥不考虑将这个：“将reader读出来的数据转换为federatedml.feature.instance.Instance这样一个数据结构” 的操作做到reader里面呢？ 这样的话，如果我不想做任何数据预处理操作、即使是指定标签值（y列）我都不做，那么我可以直接配置由reader -> intersection -> lr这样一个dsl执行成功一个训练，而不是必须要配置一个 reader -> datatransfrom -> intersection -> lr这样一个dsl的同时datatransform里面的参数却一个都不配置，这个情况下，如果datatransform一个参数我都不配置但是还必须在dsl中配置一个datatransfrom、就有点让建模人员感觉有点奇怪 补充： datatransform这个组件对于建模人员来说，只应该关注一些数据预处理的操作、但是这个组件里面的类型转换操作应该是建模人员不关心的、但是现在datatransform里面的数据转换操作却造成了建模人员必须去配置一个datatransform，所以我的问题集中在、datatransform组件内部的类型转换动作是不是太强制了？如果建模人员准备的训练数据很好、不需要做数据预处理、但是却还要必须配置datatransform这个组件、这等于是把建模人员不关心的fate内部数据结构的转换暴露给建模人员、所以是不是可以把这里面的转换操作移动出datatransform组件中？

MiKKiYang

We no longer need to split large object into small pieces before remote to another party since eggroll 2.0 has this feature buildin supported.

sagewe

Expect a minor version to support only PSI functionality

4

Because we are in the process of actual use, the existing exploratory tests are basically only PSI tasks, and further cooperation is possible only after the intersection of the real...

excellent-lixl

建议增加组件输出所有数据的接口(分页)

1

场景：使用模型预测结果后，下游服务通过接口获取预测的结果。 问题：目前获取组件的数据输出接口只有 `/v1/tracking/component/output/data` 该接口只能返回100条数据。 建议：增加或者修改原有的接口，支持分页查询，获取所有的数据。

zlt2000

In ver 1.9, we will fix a FATE Board display bug of Feature Imputation Module: When `cols_fill_method` is not provided, individual column fill method will be empty on FATE Board...

nemirorox

**Is your feature request related to a problem? Please describe.** A. In older version of fate, when using intersection component, if "only_output_key" is True, "sid_name" is not set in header,...

mgqa34

**Describe the bug** When using match id, some errors will occur: a. In training components' output(like secureboost\lr\nn), "match_id_name" is not filled, fateboard can not show the data output b. In...

mgqa34

what does party id means and works?

13

hi, i am new to FATE, and got confused in setting party id when test official demo. here are some problems i bumped into: 1. what is the meaning that...

holder-fo

1.Spark支持kerberos认证 2.配置文件中数据库，redis的密码支持加密保存，提供相关工具。 3.fateboard是能使用Ldap做用户管理 4.通信模块支持增加TLS认证。

mamingliang-myy

**Is your feature request related to a problem? Please describe.** Create a new Github Repo 'FATE-experimental' to host experimental code. The repo can benefit research or non-production feature developments of...

snowzjx