face-cluster-by-infomap icon indicating copy to clipboard operation
face-cluster-by-infomap copied to clipboard

Published 20 hours ago • verified publisher icon xiaoxiong74

大数据集测试时间过长

Open Linsongrong opened this issue 3 years ago • 2 comments

@xiaoxiong74 ，作者，您好。感激您开源的工作！我在测试MS-1Mpart9（图片数5206761）的数据时，跑了很长时间都还没结果（已经过去5个半小时了）。请问您有做过大规模数据集的测试吗，能分析一下原因吗？

Linsongrong avatar Mar 12 '21 06:03 Linsongrong

@xiaoxiong74 ，作者，您好。感激您开源的工作！我在测试MS-1Mpart9（图片数5206761）的数据时，跑了很长时间都还没结果（已经过去5个半小时了）。请问您有做过大规模数据集的测试吗，能分析一下原因吗？

未进行一次性进行大规模数据单独测试，只做过百万级的单批测试。比如实际场景下(如上亿的图片流)，建议进行分批聚类后再进行聚类，或结合其他机制策略。

xiaoxiong74 avatar Mar 15 '21 06:03 xiaoxiong74

@xiaoxiong74 ，感谢你的回复，还有一个问题，infomap支持CUDA加速吗？如果支持该怎么做？

Linsongrong avatar Mar 19 '21 08:03 Linsongrong