abacuza icon indicating copy to clipboard operation
abacuza copied to clipboard

如何调试WordCounter Demo 还有如何实现多数据源的

Open chenzhe opened this issue 3 years ago • 4 comments

WordCounter Demo 要传参数感觉调试起来比较麻烦。

chenzhe avatar Sep 28 '21 00:09 chenzhe

@chenzhe 是的,目前调试这部分还没有太好的支持,不过我会考虑设法简化调试的步骤。 也可以参考微软.NET for Spark项目,看是否有调试方面的实践指南。 感谢反馈。

daxnet avatar Oct 01 '21 09:10 daxnet

@chenzhe 多数据源这部分的问题是?能否具体些?

daxnet avatar Oct 01 '21 09:10 daxnet

代码中有个MultiDataSourcesInputEndpoint.cs 类,是不是处理多数据源输入的

chenzhe avatar Oct 07 '21 23:10 chenzhe

@chenzhe 本来是打算使用这个endpoint支持多源输入的,但是这个设计并不好,所以现在可以在project的input endpoint中通过添加多个endpoint的方式支持多源的输入。在Project页面,拉到底,可以看到一个下拉框,里面列出了所有的input endpoint,选择一个然后点Add按钮即可。多个数据源的输入会通过DataFrame.UnionByName的方式合并到一个DataFrame,所以它要求多个数据源的数据具有相同的字段。

daxnet avatar Oct 09 '21 23:10 daxnet