如何上传自定义数据（比如MNIST图片数据）？

[Yonggie]

文档中所使用的的例子都是.csv文件，如何上传自定义数据？

[mgqa34]

可以参考NN教程

[Yonggie]

可以参考NN教程

你好，教程中（比如Customize your Dataset）都是使用pipeline.bind_table方法，直接在本地加载，没有上传数据。

[mgqa34]

可以参考NN教程

你好，教程中（比如Customize your Dataset）都是使用pipeline.bind_table方法，直接在本地加载，没有上传数据。

是的，这类型的数据是通过bind，绑定一个本地路径，然后算法组件内部再去读，是不能直接上传的

[Yonggie]

所以目前不能进行实际上的自定义数据的联邦学习？如果使用自定义数据，只能够本地使用吗？

[mgqa34]

为什么可以得到这个结论呢？数据自己在服务器放置一份绑定到namespace/name，不是一样的流程吗？

[Yonggie]

嗯，这个明白而且已经非常熟悉，因为没有看到自定义数据的upload所以提问。

但是这样模拟不算背离了联邦学习的目的吗？A和B的数据都传到C并且暂存然后绑定。数据在C这里还是可能被泄露呀。那请问莫非upload函数本身也只是做一个数据的暂存吗，没有对数据进行类似同态加密的处理？

[magic-hya]

根据文档操作，遇到问题： 2台主机docker集群模式部署，

data_path_0 = '/data/projects/fate/examples/data/mnist_train'
data_path_1 = '/data/projects/fate/examples/data/mnist_train'
pipeline.bind_table(name=data_0['name'], namespace=data_0['namespace'], path=data_path_0)
pipeline.bind_table(name=data_1['name'], namespace=data_1['namespace'], path=data_path_1)

数据已经上传到了服务器，但是执行bind的时候卡住，查看后台日志发现数据库出错了，报错信息如下： more fate_flow_sql.log

[INFO] [2023-12-22 11:32:29,446] [202312221138368071860] [7:140552217532160] - [job_saver.execute_update] [line:220]: UPDATE `t_task` SET `f_update_time` = 17032
15949445, `f_update_date` = '2023-12-22 11:32:29', `f_component_name` = 'reader_0', `f_run_ip` = '192.167.0.100', `f_run_port` = 9380, `f_run_pid` = 23215, `f_er
ror_report` = 'Traceback (most recent call last):
  File "xxx/fate_flow/worker/task_executor.py", line 210, in _run_
    cpn_output = run_object.run(cpn_input)
  File "xxx/fate_flow/components/_base.py", line 156, in run
    self._run(cpn_input=cpn_input)
  File "xxx/fate_flow/components/reader.py", line 86, in _run
    ) = self.convert_check(
  File "xxx/fate_flow/components/reader.py", line 202, in convert_check
    return data_utils.convert_output(input_name, input_namespace, output_name, output_namespace, computing_engine,
  File "xxx/fate_flow/utils/data_utils.py", line 71, in convert_output
    raise RuntimeError(
RuntimeError: can not found table name: mnist_host_1 namespace: experiment', `f_end_time` = 1703215949429, `f_end_date` = '2023-12-22 11:32:29', `f_elapsed` = 47
18 WHERE (((((`t_task`.`f_job_id` = '202312221138368071860') AND (`t_task`.`f_task_id` = '202312221138368071860_reader_0')) AND (`t_task`.`f_task_version` = 0))
AND (`t_task`.`f_role` = 'host')) AND (`t_task`.`f_party_id` = '9999'))

[github-actions[bot]]

This issue was closed because it has been inactive for 1 days since being marked as stale. If this issue is still relevant or if there is new information, please feel free to update or reopen it.