incubator-hugegraph icon indicating copy to clipboard operation
incubator-hugegraph copied to clipboard

raft+rocksdb可以实现扩容吗

Open 2867021781 opened this issue 3 years ago • 13 comments

Problem Type (问题类型)

No response

Before submit

  • [X] 我已经确认现有的 IssuesFAQ 中没有相同 / 重复问题

Environment (环境信息)

  • Server Version: v0.12.0
  • Backend: RocksDB x nodes, HDD or SSD
  • OS: xx CPUs, xx G RAM, Centos 7.x
  • Data Size: xx vertices, xx edges

Your Question (问题描述)

各位大佬, 1、有谁知道raft+rocksdb搭建的集群,可以支持数据扩容吗? 2、因为调研资料说rocksdb是不支持动态扩缩容的,然后我又用hbase做了集群(hadoop zookeepe集群),可是发现没有raft+rocksdb的好用,在master上增加属性都没法同步到其他节点机器上,而rocskdb的能实现全备份,数据实时同步,不知道有没有什么解决方法呀?还是我的配置有问题导致没有实时同步

Vertex/Edge example (问题点 / 边数据举例)

No response

Schema [VertexLabel, EdgeLabel, IndexLabel] (元数据结构)

No response

2867021781 avatar Jul 07 '22 13:07 2867021781

感觉你使用 hbase 这里应该有些问题吧. 抛开缓存的一致性, hbase 本身分布式结构没啥问题, 也可以动态扩缩容, 实时数据/多副本备份.

可以细化一下你 hbase 的使用具体细节么? 包括说的 master 增加属性是啥意思,

imbajin avatar Jul 07 '22 15:07 imbajin

感觉你使用 hbase 这里应该有什么问题吧。开源问题的开放式一致性,数据库问题的开放式架构也没有任何新容量,可以扩展动态,实时数据/多副本备份。

可以细化一下你hbase的使用具体细节么?包括说的主增加属性的什么英文,

是这样的,我在使用hugegrpah搭建集群,后端存储用的是hbase,也要集群化部署,hbase搭建成功后用hugegraph连接,master是主节点(集群的leader),在master上增加hugegraph的属性字段,其他两台机器(worker)没有看到这个新增的字段,用rocksdb可以看到,网上说的是rocksdb支持的全备份,用这种第三方数据源后,有很多缓存在hugegraph中,存在缓存不一致,所以导致这种情况,可以怎么去解决呢

2867021781 avatar Jul 11 '22 02:07 2867021781

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:https://github.com/apache/incubator-hugegraph/issues/1760#issuecomment-1042863992

javeme avatar Jul 11 '22 03:07 javeme

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:#1760 (comment)

好的感谢,我先试试,稍后回复结果

2867021781 avatar Jul 11 '22 06:07 2867021781

已解决

2867021781 avatar Jul 11 '22 12:07 2867021781

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:#1760 (comment)

rocksdb确实不能动态扩缩容是吗?

2867021781 avatar Jul 11 '22 12:07 2867021781

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:#1760 (comment)

关于 hbase 后端 + 多 hg-server 的部署方式我也有个疑问,在 server-1 创建的图,server-2 无法查询到,需要在 server-2 也创建该图后才能查询到,这是正常的吗还是bug?

simon824 avatar Jul 12 '22 09:07 simon824

我这边可以查到的啊,应该是部署的有问题,hbase集群正常吗

2867021781 avatar Jul 13 '22 01:07 2867021781

我这边可以查到的啊,应该是部署的有问题,hbase集群正常吗

可以用hbase shell看一下

2867021781 avatar Jul 13 '22 01:07 2867021781

@2867021781 HBase 正常,可否分享一下 rest-server.properties 的配置?

simon824 avatar Jul 13 '22 02:07 simon824

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:#1760 (comment)

关于 hbase 后端 + 多 hg-server 的部署方式我也有个疑问,在 server-1 创建的图,server-2 无法查询到,需要在 server-2 也创建该图后才能查询到,这是正常的吗还是bug?

我理解应该是不会需要重新初始化的, 因为信息存在 hbase 里在, 包括是否需要初始化的 meta 信息, 多个 server 链接的应该也是同一个 hbase 节点才对, 可以看看具体提示需要初始化访问的 target 是否符合预期?

imbajin avatar Jul 13 '22 13:07 imbajin

@simon824 目前仅支持对已创建图的多Server之间同步数据,动态创建图功能还未实现多Server同步,不过后续可以考虑增加该特性

如果使用hbase后端搭建集群,也需要启用rpc族配置项,具体配置可参考:#1760 (comment)

关于 hbase 后端 + 多 hg-server 的部署方式我也有个疑问,在 server-1 创建的图,server-2 无法查询到,需要在 server-2 也创建该图后才能查询到,这是正常的吗还是bug?

javeme avatar Jul 14 '22 07:07 javeme

Due to the lack of activity, the current issue is marked as stale and will be closed after 20 days, any update will remove the stale label

github-actions[bot] avatar Jul 29 '22 21:07 github-actions[bot]

感觉这个问题没有被回答呀... 比如现在已经有了一个3台机器组成的raft+rocksdb集群,集群里运行着一个叫hg的图(实际上三台机器上每台都有hg的rocksdb存储路径和数据),我想动态地(不停服务)向集群中添加第4台机器,现在是否支持?应该如何做呢?

xudaddd avatar Sep 14 '22 11:09 xudaddd

@xudaddd 目前社区版仅支持基于rocksdb的raft复制模式,还未支持基于rocksdb的分片模式,预计下个社区版会支持的。不过hg支持shared-storage架构方式(比如使用cassandra、hbase、mysql、pgsql等存储后端),可以在存储层横向扩容。

javeme avatar Nov 23 '22 13:11 javeme

@xudaddd 目前社区版仅支持基于rocksdb的raft复制模式,还未支持基于rocksdb的分片模式,预计下个社区版会支持的。不过hg支持shared-storage架构方式(比如使用cassandra、hbase、mysql、pgsql等存储后端),可以在存储层横向扩容。

我这边使用了rocksdb+raff,在默认图里面操作属性都可以同步到其他节点,但是创建图的时候无法同步到其他节点,是什么原因导致的?

chenhong1990 avatar Apr 08 '24 03:04 chenhong1990

@xudaddd 目前社区版仅支持基于rocksdb的raft复制模式,还未支持基于rocksdb的分片模式,预计下个社区版会支持的。不过hg支持shared-storage架构方式(比如使用cassandra、hbase、mysql、pgsql等存储后端),可以在存储层横向扩容。

我这边使用了rocksdb+raff,在默认图里面操作属性都可以同步到其他节点,但是创建图的时候无法同步到其他节点,是什么原因导致的?

image

@chenhong1990 seems already answered

z7658329 avatar Apr 08 '24 09:04 z7658329

@z7658329 如果新创建图同步不了,那这个rocksdb高可用设置的意义在哪?必须用可支持集群的后端吗?一般遇见这类问题怎么解决?

chenhong1990 avatar Apr 09 '24 08:04 chenhong1990