Taier icon indicating copy to clipboard operation
Taier copied to clipboard

[Feature][Module Name]Taier基于容器分布式集群模式的部署

Open zhoubill opened this issue 2 years ago • 1 comments

Search before asking

  • [X] I had searched in the issues and found no similar feature requirement.

Description

类似海豚调度器,Taier能否基于容器模式,部署多个实例来提高Taier调度器的并发性能和执行效率。能否将Taier多实例模式的docker-compose文档补充下

Use case

No response

Related issues

No response

Are you willing to submit a PR?

  • [X] Yes I am willing to submit a PR!

Code of Conduct

zhoubill avatar Sep 02 '22 08:09 zhoubill

taier的多实例部署 基于zookeeper和mysql 使用同一份的情况下

zk的路径下会注册不同实例的ip 后续任务周期实例 和 补数据 生成 会根据实例ip 去水平划分

1. 基于docker模式的多实例部署

dock-compose的文件

version: '3'
services:
  taier-db:
    image: dtopensource/taier-mysql:1.2
    environment:
      MYSQL_DATABASE: taier
      MYSQL_ROOT_PASSWORD: 123456
  taier-zk:
    image: zookeeper:3.4.9
  taier-ui:
    image: dtopensource/taier-ui:1.2
    ports:
      - 80:80
    environment:
      TAIER_IP: taier
      TAIER_PORT: 8090
  taier:
    image: dtopensource/taier:1.2
    environment:
      ZK_HOST: taier-zk
      ZK_PORT: 2181
      DB_HOST: taier-db
      DB_PORT: 3306
      DB_ROOT: root
      DB_PASSWORD: 123456
      DATASOURCEX_PATH: /usr/taier/datasourcex
    volumes:
        - /data/datasourcex:/usr/taier/datasourcex
  taier2:
    image: dtopensource/taier:1.2
    environment:
      ZK_HOST: taier-zk
      ZK_PORT: 2181
      DB_HOST: taier-db
      DB_PORT: 3306
      DB_ROOT: root
      DB_PASSWORD: 123456
      DATASOURCEX_PATH: /usr/taier/datasourcex
    volumes:
        - /data/datasourcex:/usr/taier/datasourcex

这里看到 相比默认的配置只添加一个taier2的容器

对应的zk目录下会有二个taier容器的ip注册上来

image

2. 基于本地模式的部署

本地模式的部署相对来也是一样,可以起不同的taier进程,zookeeper和mysql配置使用同一份即可

vainhope avatar Sep 10 '22 14:09 vainhope