GraphEmbedding icon indicating copy to clipboard operation
GraphEmbedding copied to clipboard

Published 20 hours ago • verified publisher icon shenweichen

节点多的话跑不通，吃内存

Open delphi1987 opened this issue 6 years ago • 5 comments

48万个节点，32G内存跑不同，在_create_A_L上报内存不够。 _create_A_L种构造矩阵的方式是否可优化，稀疏矩阵这样存储太浪费。

delphi1987 avatar Jun 12 '19 07:06 delphi1987

可以使用numpy或scipy中的sparse matrix来存储

shenweichen avatar Jun 13 '19 05:06 shenweichen

48万个节点，32G内存跑不同，在_create_A_L上报内存不够。 _create_A_L种构造矩阵的方式是否可优化，稀疏矩阵这样存储太浪费。

您好，请问该问题解决了吗？如何解决的

wqw123 avatar Jun 22 '19 16:06 wqw123

可以使用numpy或scipy中的sparse matrix来存储 但是在训练的时候，还得用array 进行input，48万个节点，目测100G都不够用。

MarkovSc avatar Aug 05 '19 09:08 MarkovSc

@MarkovSc 改成Sparse placeholder输入

shenweichen avatar Aug 05 '19 09:08 shenweichen

这个并行实现是不是有点问题？不管开多少worker都不是并行，为什么不用py内置的并行模块呢？

anmingyu11 avatar Dec 03 '20 13:12 anmingyu11