FancyXun
FancyXun
因为现在没有2.1的k8s镜像，但是在2.0会有spark的rdd 分区的问题，所以我将一部分修复这个rdd分区的代码替换了，具体详情可以在这里看到 https://github.com/FederatedAI/FATE/issues/5656 @talkingwallace
> 我不跑cv模式，会有如下的Bug，看起来是我更新了fate-spark到2.1以后的问题  对应的yaml文件如下： ``` dag: parties: - party_id: ['9999'] role: guest - party_id: ['10000'] role: host party_tasks: guest_9999: parties: - party_id: ['9999'] role:...
补充一下，我打印了一些中间结果 https://github.com/FederatedAI/FATE/blob/0e36edc936394331dbefa868eec236808fadbd62/python/fate/arch/dataframe/ops/_dimension_scaling.py#L287 https://github.com/FederatedAI/FATE/blob/0e36edc936394331dbefa868eec236808fadbd62/python/fate/arch/dataframe/ops/_dimension_scaling.py#L290 block_table里面rdd的分区是0-7，但是block_order_mappings里面只有0-5，所以应该就报了key error。 ``` block_table.rdd.key ： 7 0 4 2 5 6 3 1 block_order_mappings: {0: {'start_index': 0, 'end_index': 123, 'start_block_id': 0, 'end_block_id': 0}, 1: {'start_index': 124, 'end_index':...
> 2.1 spark模式，你代码没有替换正确。你把整个arch目录替换下。或者现在2.1.1的镜像。现在镜像有了 https://hub.docker.com/r/federatedai/fateflow-spark/tags 我用的是这个镜像，这个还是2.0.0的，请问你是让我替换成哪个？ https://hub.docker.com/r/federatedai/fateflow/tags fateflow-spark的镜像替换成这个吗？
> 2.1 spark模式，你代码没有替换正确。你把整个arch目录替换下。或者现在2.1.1的镜像。现在镜像有了 我之前就是把这个arch的替换了，那我试下最新的镜像。多谢哈
Of course. postgres logs follows: ``` 2025-03-27 07:19:00.404 UTC [49] LOG: received fast shutdown request waiting for server to shut down....2025-03-27 07:19:00.404 UTC [49] LOG: aborting any active transactions 2025-03-27...
> spark相关镜像，我们暂时还没发提供。 这块原则上和2.0一样。client和nginx 2.x我们已经不需要了。 osx可以用来做通信，flow的镜像里面已经安装fate-client了 你好，请问你说的原则上和2.0一样是指？因为我这边遇到了spark 的分区问题，之前和你讨论过，需要替换成2.1下面的arch代码。我理解fateflow-spark2.0还是要做这件事吧？
> bottom_model=Sequential( > nn.Linear(10, 10), > nn.LSTM(input_size=10, hidden_size=10, batch_first=True), > nn.Linear(10, 10), > ), 这种定义肯定有问题吧，LSTM的输出是个tuple
多谢答复，我使用的是fate 2.0里面自带的nn例子，这是我基于nn的例子写了一个，你看下有什么问题呢。 ``` # Copyright 2019 The FATE Authors. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file...