sagewe

Results 30 comments of sagewe

That's odd, I'll check this out in next week. Thanks for the report.

目前FATE端不支持直接从mysql中读取数据,原因之一是不同的计算引擎支持的存储数据格式不一样,比如spark支持文件跟hdfs,eggroll支持的是自己的格式(底层是lmdb)。我们在之前的版本中有采取转换的思路,这个版本可能还没有适配? @zhihuiwan

理想情况下如果底层的引擎直接支持是最简单的,只需要在https://github.com/FederatedAI/FATE/blob/master/python/fate/arch/computing/backends/eggroll/_csession.py#L64-L90 中插入新的uri支持

> 我理解原始数据最终都是要转成fate能读取的数据格式lmdb,现在都是直接从内置的fate flow 里面读取csv文件进行转换,我的述求就是如何读取外部的数据库,进行转换也可。我理解直接1.x版本是可以 table bind 一个外部数据源,比如mysql这样。@sagewe 是的,这个后续版本会有支持,是我们推进容器化支持的一部分

> > 理想情况下如果底层的引擎直接支持是最简单的,只需要在https://github.com/FederatedAI/FATE/blob/master/python/fate/arch/computing/backends/eggroll/_csession.py#L64-L90 中插入新的uri支持 > > 因为近期有这个需求,可能等不到你们升级了,那如果我想要支持,是不是按照你说的说法得在这里修改成本最小,读取外部数据源? 从这里改可能更简单: https://github.com/FederatedAI/FATE/blob/0e36edc936394331dbefa868eec236808fadbd62/python/fate/components/core/component_desc/artifacts/data/_table.py#L46-L53 ```python class TableReader(_ArtifactTypeReader): def read(self): self.artifact.consumed() if self.artifact.uri.scheme == "mysql": from sqlalchemy import create_engine import copy database, table = self.artifact.uri.path_splits() database_uri...

方便的话可以继续追踪下label_num为什么会是numpy.float64

eggroll的通信模块为rollsite,客户端在https://github.com/FederatedAI/eggroll/blob/v2.5.3/python/eggroll/roll_site/roll_site.py 基于grpc通信的 节点直接使用java的模块通信 https://github.com/FederatedAI/eggroll/tree/v2.5.3/jvm/roll_site 也是基于grpc的 算法相关的代码都在FATE的python部分,公钥发送应该就是简单的remote/get,请参考相关的文档说明跟代码 另外,1.6.1版本以及非常老了,建议更新到新的版本以获得更好的算法性能和技术更新

由于传递的是路径,你可以做任何你想要的操作,2.x你可以从这里开始 https://github.com/FederatedAI/FATE/blob/0e36edc936394331dbefa868eec236808fadbd62/python/fate/components/components/homo_nn.py#L51 1.x的处理应该从federatedml对应的算法入口有类似的案例

请描述下相关的需求 1. 那部分组件无法使用arm 2. 你目前做了哪些尝试,碰到了什么问题

首先很感谢你的贡献,社区对DCO有强制要求,请依照 [Details](https://github.com/FederatedAI/FATE-Flow/pull/574/checks?check_run_id=27644346076) 进行修复 有空看看 @zhihuiwan