iotdb
iotdb copied to clipboard
关于iotdb集群搭建事宜请教
各位好, 近期准备使用iotdb搭建分布式集群,版本1.1.0,想配置3台机器3c3d,看了官网资料,存在如下疑问: 1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式 2.关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上? 3.关于启停, 启:先起种子,再起其他2台ConfigNode,然后再起三台datanode? 停:停3台ConfigNode(这三台有一台是种子,种子要不要先停),再停datanode? 谢谢各位。
Hi, this is your first issue in IoTDB project. Thanks for your report. Welcome to join the community!
各位好, 近期准备使用iotdb搭建分布式集群,版本1.1.0,想配置3台机器3c3d,看了官网资料,存在如下疑问: 1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式 2.关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上? 3.关于启停, 启:先起种子,再起其他2台ConfigNode,然后再起三台datanode? 停:停3台ConfigNode(这三台有一台是种子,种子要不要先停),再停datanode? 谢谢各位。
得到答案了吗?我有相同的疑问
社区好像不太活跃。。。
@ufoe 我还是使用了高性能分布式模式,因为配置文件 conf/iotdb-common.properties 下 data_region_consensus_protocol_class 默认值 org.apache.iotdb.consensus.iot.IoTConsensus 。 关于datanode的配置参数:dn_target_config_node_list 写一台种子ConfigNode 机器的ip和端口就可以了 关于启动,就是先起种子ConfigNode ,再起另外两台ConfigNode ,最后起三台Datanode。
@ufoe 我还是使用了高性能分布式模式,因为配置文件 conf/iotdb-common.properties 下 data_region_consensus_protocol_class 默认值 org.apache.iotdb.consensus.iot.IoTConsensus 。 关于datanode的配置参数:dn_target_config_node_list 写一台种子ConfigNode 机器的ip和端口就可以了 关于启动,就是先起种子ConfigNode ,再起另外两台ConfigNode ,最后起三台Datanode。
三台datanode的话,客户端连接的时候需要 写3个ip/端口?
前面能加负载均衡,客户端通过VIP连接吗?
@ufoe 这个看你们自己选,如果是客户端连接只能写一个ip:端口 比如 客户端连接:sbin/start-cli.sh -h xxx -p 6667 -u root -pw root 如果代码连接可以传入数组 Session session = new Session.Builder() .nodeUrls(nodeUrls) .username("root") .password("root") .build(); .nodeUrls里面的nodeUrls就是数组。 当然你们自己搞个vip也没问题。
@bigdata-spec 好,谢谢
请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS
请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS
在1.0 之后已经实现了集群高性能,官方已经不推荐配置hdfs了,会有各种问题
请问V1.1.1版本,在conf目录下没有对应的iotdb-engine.properties配置文件,那么如何配置将数据存放在HDFS
在1.0 之后已经实现了集群高性能,官方已经不推荐配置hdfs了,会有各种问题
如果我现在已经有一套hdfs的集群在使用,需要在离线HIVE计算后,将数据存在在线的IOTDB,想节省集群存储和数据同步环节,有什么比较好的推荐方式呢?
1.推荐使用哪种部署模式选型,高性能分布式模式 还是 强一致分布式模式
业务上对一致性没有特别强需求的话,推荐使用高性能分布式模式,2 副本即可高可用,相比强一致性节约 33% 成本。
- 关于datanode的配置参数:dn_target_config_node_list 应该写一台种子ConfigNode 机器的ip和端口,还是把3台ConfigNode 的ip和端口都写上?
ConfigNode 的启动参数里面 cn_target_config_node_list 目前只支持配置一个节点,所以都推荐配置成 Seed-ConfigNode(第一个启动的节点),DataNode 的启动参数里面 dn_target_config_node_list 支持配置多个 ConfigNode 以提升重启时的容错性,推荐配置成所有 ConfigNode 的列表
3.关于启停,
推荐的启动顺序为:
- 先起种子 ConfigNode
- 再起其他 2 台 ConfigNode
- 然后再起 3 台 DataNode
推荐的停止顺序为:
- 停止业务的读写
- 停止所有 DataNode
- 停止所有 ConfigNode(Seed-ConfigNode 的停止顺序不重要)
集群版本部署在k8s还需要改好多才能适配。有空把我们的实践分享出来
集群版本部署在k8s还需要改好多才能适配。有空把我们的实践分享出来
期待