KnowledgeGraphData icon indicating copy to clipboard operation
KnowledgeGraphData copied to clipboard

想问一下用的是什么图数据库存储1.4亿三元组

Open mjj1094 opened this issue 2 years ago • 12 comments

我按照作者的展示效果,尝试用neo4j存储,能力有限费了很多功夫,结果neo4j显示关系类型数量过大:

Peak memory usage: 1.51 GB Import error: Maximum id limit for RELATIONSHIP_TYPE_TOKEN has been reached. Generated id 436489 is out of permitted range [0, 655 35]. 想问一下作者是用的什么图数据库存储的,谢谢!

mjj1094 avatar Mar 31 '22 07:03 mjj1094

将关系当作同一个关系的name来存储,不要一个关系就设置一个关系类型。

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:17 @.>; @.***>; 主题: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

我按照作者的展示效果,尝试用neo4j存储,能力有限费了很多功夫,结果neo4j显示关系类型数量过大:
Peak memory usage: 1.51 GB Import error: Maximum id limit for RELATIONSHIP_TYPE_TOKEN has been reached. Generated id 436489 is out of permitted range [0, 655 35]. 想问一下作者是用的什么图数据库存储的,谢谢!

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

ownthink avatar Mar 31 '22 07:03 ownthink

举个例子?感觉没太明白 我用的是neo4j-admin import导入,relationship.csv如下: :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,属性 结果关系类型数量超标; 后来改为: :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,REL e30158058,e8687549,标签,REL e1186757,e21563160,描述,REL 结果关系全变成REL显示了

mjj1094 avatar Mar 31 '22 07:03 mjj1094

对,就是用第二种就行了,所有的关系都是rel就行了,然后用name来区分关系。

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:25 @.>; @.@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

举个例子?感觉没太明白 我用的是neo4j-admin import导入,relationship.csv如下: :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,属性 结果关系类型数量超标; 后来改为: :START_ID,:END_ID,name,:TYPE e29625201,e8036219,属性,REL e30158058,e8687549,标签,REL e1186757,e21563160,描述,REL 结果关系全变成REL显示了

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

ownthink avatar Mar 31 '22 07:03 ownthink

啊,所以那个neo4j上显示不了属性关系,只能通过可视化工具中自己设置显示了~感谢作者,感谢提供帮助的风言网友

mjj1094 avatar Mar 31 '22 07:03 mjj1094

还想问一下,作者思知网站上搜索如此之快,是采用了什么技术吗?

mjj1094 avatar Mar 31 '22 07:03 mjj1094

 neo4j也是10几毫秒啊,服务器好一些,啥问题都能解决

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年3月31日(星期四) 下午3:32 @.>; @.@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

还想问一下,作者思知网站上搜索如此之快,是采用了什么技术吗?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

ownthink avatar Mar 31 '22 07:03 ownthink

OK,谢谢作者大大!祝身体健康,生活愉快!

mjj1094 avatar Mar 31 '22 07:03 mjj1094

作者,再麻烦您一下,我用的服务器自认为还是相对可以的,可是我运行简单的cypher语句,查询竟然达到40秒,效率堪忧啊~ MATCH (n:my_entity)-[r]->(m) where n.name="巴塞罗那" RETURN n,r,m

mjj1094 avatar Apr 13 '22 02:04 mjj1094

加索引

 

------------------ 原始邮件 ------------------ 发件人: "ownthink/KnowledgeGraphData" @.>; 发送时间: 2022年4月13日(星期三) 上午10:37 @.>; @.@.>; 主题: Re: [ownthink/KnowledgeGraphData] 想问一下用的是什么图数据库存储1.4亿三元组 (Issue #32)

作者,再麻烦您一下,我用的服务器自认为还是相对可以的,可是我运行简单的cypher语句,查询竟然达到40秒,效率堪忧啊~ MATCH (n:my_entity)-[r]->(m) where n.name="巴塞罗那" RETURN n,r,m

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

ownthink avatar Apr 13 '22 02:04 ownthink

谢谢,我学一下加索引!

mjj1094 avatar Apr 13 '22 02:04 mjj1094

RDF三元组应该不适合用图数据库存储,有专门的RDF数据库

litao09h avatar May 18 '22 11:05 litao09h

RDF三元组应该不适合用图数据库存储,有专门的RDF数据库

图数据库不就是用来干这个事的吗,怎么就变成不适合了?

sportzhang avatar Jul 19 '22 00:07 sportzhang