iotdb icon indicating copy to clipboard operation
iotdb copied to clipboard

关于iotdb集群搭建事宜请教

Open bigdata-spec opened this issue 1 year ago • 12 comments

各位好, 近期准备使用iotdb搭建分布式集群,版本1.1.0,想配置3台机器3c3d,看了官网资料,存在如下疑问: 1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式 2.关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上? 3.关于启停, 启:先起种子,再起其他2台ConfigNode,然后再起三台datanode? 停:停3台ConfigNode(这三台有一台是种子,种子要不要先停),再停datanode? 谢谢各位。

bigdata-spec avatar May 15 '23 08:05 bigdata-spec

Hi, this is your first issue in IoTDB project. Thanks for your report. Welcome to join the community!

github-actions[bot] avatar May 15 '23 08:05 github-actions[bot]

各位好, 近期准备使用iotdb搭建分布式集群,版本1.1.0,想配置3台机器3c3d,看了官网资料,存在如下疑问: 1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式 2.关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上? 3.关于启停, 启:先起种子,再起其他2台ConfigNode,然后再起三台datanode? 停:停3台ConfigNode(这三台有一台是种子,种子要不要先停),再停datanode? 谢谢各位。

得到答案了吗?我有相同的疑问

社区好像不太活跃。。。

ufoe avatar May 23 '23 12:05 ufoe

@ufoe 我还是使用了高性能分布式模式,因为配置文件 conf/iotdb-common.properties 下 data_region_consensus_protocol_class 默认值 org.apache.iotdb.consensus.iot.IoTConsensus 。 关于datanode的配置参数:dn_target_config_node_list 写一台种子ConfigNode 机器的ip和端口就可以了 关于启动,就是先起种子ConfigNode ,再起另外两台ConfigNode ,最后起三台Datanode。

bigdata-spec avatar May 24 '23 05:05 bigdata-spec

@ufoe 我还是使用了高性能分布式模式,因为配置文件 conf/iotdb-common.properties 下 data_region_consensus_protocol_class 默认值 org.apache.iotdb.consensus.iot.IoTConsensus 。 关于datanode的配置参数:dn_target_config_node_list 写一台种子ConfigNode 机器的ip和端口就可以了 关于启动,就是先起种子ConfigNode ,再起另外两台ConfigNode ,最后起三台Datanode。

三台datanode的话,客户端连接的时候需要 写3个ip/端口?

前面能加负载均衡,客户端通过VIP连接吗?

ufoe avatar May 25 '23 03:05 ufoe

@ufoe 这个看你们自己选,如果是客户端连接只能写一个ip:端口 比如 客户端连接:sbin/start-cli.sh -h xxx -p 6667 -u root -pw root 如果代码连接可以传入数组 Session session = new Session.Builder() .nodeUrls(nodeUrls) .username("root") .password("root") .build(); .nodeUrls里面的nodeUrls就是数组。 当然你们自己搞个vip也没问题。

bigdata-spec avatar May 29 '23 05:05 bigdata-spec

@bigdata-spec 好,谢谢

ufoe avatar Jun 01 '23 07:06 ufoe

请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS

woolsam avatar Jul 20 '23 01:07 woolsam

请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS

在1.0 之后已经实现了集群高性能,官方已经不推荐配置hdfs了,会有各种问题

ufoe avatar Jul 20 '23 03:07 ufoe

请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS

在1.0 之后已经实现了集群高性能,官方已经不推荐配置hdfs了,会有各种问题

如果我现在已经有一套hdfs的集群在使用,需要在离线HIVE计算后,将数据存在在线的IOTDB,想节省集群存储和数据同步环节,有什么比较好的推荐方式呢?

woolsam avatar Jul 24 '23 00:07 woolsam

1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式

业务上对一致性没有特别强需求的话,推荐使用高性能分布式模式,2 副本即可高可用,相比强一致性节约 33% 成本。

  1. 关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上?

ConfigNode 的启动参数里面 cn_target_config_node_list 目前只支持配置一个节点,所以都推荐配置成 Seed-ConfigNode(第一个启动的节点),DataNode 的启动参数里面 dn_target_config_node_list 支持配置多个 ConfigNode 以提升重启时的容错性,推荐配置成所有 ConfigNode 的列表

3.关于启停,

推荐的启动顺序为:

  • 先起种子 ConfigNode
  • 再起其他 2 台 ConfigNode
  • 然后再起 3 台 DataNode

推荐的停止顺序为:

  • 停止业务的读写
  • 停止所有 DataNode
  • 停止所有 ConfigNode(Seed-ConfigNode 的停止顺序不重要)

OneSizeFitsQuorum avatar Jul 29 '23 07:07 OneSizeFitsQuorum

集群版本部署在k8s还需要改好多才能适配。有空把我们的实践分享出来

myysophia avatar Sep 11 '23 07:09 myysophia

集群版本部署在k8s还需要改好多才能适配。有空把我们的实践分享出来

期待

ufoe avatar Oct 08 '23 02:10 ufoe