关于分chunk的问题

[huang1997214]

您好，之前跟您讨论过计算jacard距时矩阵过大的问题。您跟我提过分chunk的思路。我现在的想法是先用个mini-batch k-means去粗分成几个chunk，您觉得这样的思路可以吗。或者您觉得有什么更好的分chunk的思路吗。麻烦您啦!

[huang1997214]

还想问下您，分chunk后每个chunk聚类得到多个indep_thres。对于多个indep_thres您觉得怎么处理会好一些呢。

[yxgeee]

您好，之前跟您讨论过计算jacard距时矩阵过大的问题。您跟我提过分chunk的思路。我现在的想法是先用个mini-batch k-means去粗分成几个chunk，您觉得这样的思路可以吗。或者您觉得有什么更好的分chunk的思路吗。麻烦您啦!

我没有想好具体的，我一开始想的就是简单地把数据集分为N个chunk，然后分别做聚类。但是这样的话，不同chunk之间的数据无法连通，会损失部分精度。需要考虑如何在获得聚类结果的情况下将不同的chunk进行整合（聚类合并），我记得有一些传统方法做了这件事情，类似于并行聚类的算法，你可以去具体查阅一下。

[yxgeee]

还想问下您，分chunk后每个chunk聚类得到多个indep_thres。对于多个indep_thres您觉得怎么处理会好一些呢。

我的意思是分chunk进行聚类，但是获得完聚类label后还是整合在一起，所以还会只是一组indep_thres。