fastdfs icon indicating copy to clipboard operation
fastdfs copied to clipboard

提供Docker 集群分布式部署方案

Open fwq418233640 opened this issue 4 years ago • 8 comments

1.删除 docker_local 版本 2.将 docker_network 版本变更为 simple 版本 偏向于 开发,测试,或者仅需要单机使用 3.基于 simple 版本重新编写 cluster 版本 cluster 版本 包含2个镜像 Tracker 和 Storage
分别可以进行集群化构建 具体信息 请查看 cluster/tracker/README.md 以及 cluster/storage/README.md

fwq418233640 avatar Apr 27 '20 07:04 fwq418233640

有完成的docker版本部署教程嘛,能否给个文档地址,我也想看看

developertanliyuan avatar Nov 03 '20 03:11 developertanliyuan

在合并请求中有相关的启动文档 https://github.com/fwq418233640/fastdfs/tree/master/docker/cluster/tracker 看这里

fwq418233640 avatar Nov 17 '20 11:11 fwq418233640

这个pr为什么一直不处理呢?提供docker部署方案会方便很多

qifengzhang007 avatar Mar 26 '22 15:03 qifengzhang007

个人拙见:(欢迎批评指正)

我们仅仅是把服务放到了容器内,容器网络模式仍然还是是host-network 模式,那么容器内的tracker服务无法摆脱宿主机网络的限制,客户端请求的数据节点依然还是宿主机的IP地址,快速更换存储服务器无从谈起。和没有容器化之前是一样的

不能快速跨主机迁移,想建立容器集群服务,还需要很多事要做呢。同志们加油

待解决的问题:

  1. 容器化以后的服务注册、服务发现。
  2. 容器跨主机的迁移,容器之间通信,不受宿主机的网络的影响
  3. 容器网络与宿主机网络映射等问题
  4. 服务的监控
  5. tracker查询服务,搞成变成 LVS DR模式
  6. 以上的问题解决,我就可以不使用host模式的容器网络
  7. 如何快速加入和摘除数据节点

一些参考:

  1. 服务注册和服务发现,使用 DNS SRV+ ETCD
  2. 容器跨主机通信,使用OVN+OVS 可以解决
  3. 服务的监控和报警体系,使用Prometheus +Grafana+Altermanager
  4. 通过Tracker 查询存储服务地址,搞成LVS DR模式。

拙见提出的背景:

  1. 鄙人看过和用过 cephadm快速部署ceph服务;
  2. 看过和实践过OVN+OVS用于跨主机的容器的通信,当然了还有calico、kube-ovn。基于 GENEVE 协议实现二层的overlay特别中意,正在想法子引入呢。
  3. LVS IPVS 和 nginx stream 负载均衡
  4. K8S 使用coreDNS+ETCD+IPVS 很赞,可以借用

最终目的是:想解决这个问题:过了很久,我又回来了,不过现在有思路了

同志们加油

jingjingxyk avatar Aug 14 '22 04:08 jingjingxyk

启动脚本需要解决运行的容器杀不死的问题,建议Dockerfile 启动项添加 tini 和 shell 接收终止信号 trap "exit" TERM

jingjingxyk avatar Aug 14 '22 04:08 jingjingxyk

原作者已经不再维护,我这边也不再维护docker脚本了 建议你使用替代方案  Minio http://www.minio.org.cn/ 更好的文件存储系统 一个简单的搭建文档(https://www.yuque.com/docs/share/4112aafd-afe2-438b-aebc-e4c82e18201a?# 《MinIO 集群搭建以及跨集群桶单向/双向同步》)供参考,更多细节请查看官方文档(http://docs.minio.org.cn/docs/) 

------------------ 原始邮件 ------------------ 发件人: "happyfish100/fastdfs" @.>; 发送时间: 2022年8月14日(星期天) 中午12:19 @.>; @.@.>; 主题: Re: [happyfish100/fastdfs] 提供Docker 集群分布式部署方案 (#414)

个人拙见:(欢迎批评指正)

我们仅仅是把服务放到了容器内,容器网络模式仍然还是是host-network 模式,那么容器内的tracker服务无法摆脱宿主机网络的限制,客户端请求的数据节点依然还是宿主机的IP地址,快速更换存储服务器无从谈起。和没有容器化之前是一样的

不能快速跨主机迁移,想建立容器集群服务,还需要很多事要做呢。同志们加油

待解决的问题:

容器化以后的服务注册、服务发现。

容器跨主机的迁移,容器之间通信,不受宿主机的网络的影响

容器网络与宿主机网络映射等问题

服务的监控

tracker查询服务,搞成变成 LVS DR模式

以上的问题解决,我就可以不使用host模式的容器网络

如何快速加入和摘除数据节点

一些参考:

服务注册和服务发现,使用 DNS SRV+ ETCD

容器跨主机通信,使用OVN+OVS 可以解决

服务的监控和报警体系,使用Prometheus +Altermanager

通过Tracker 查询存储服务地址,搞成LVS 的 DR模式。

拙见提出的背景:

  1. 鄙人看过和用过 cephadm 快速部署ceph服务; 2. 看过和实践过OVN+OVS用于跨主机的容器的通信,当然了还有calico、kube-ovn。基于 GENEVE 协议实现二层的overlay特别中意,正在想法子引入呢。 3. LVS IPVS 和 nginx stream 负载均衡 4. K8S 使用coreDNS+ETCD+IPVS 很赞,可以借用
    同志们加油

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

fwq418233640 avatar Sep 08 '22 09:09 fwq418233640

原作者已经不再维护,我这边也不再维护docker脚本了 建议你使用替代方案  Minio http://www.minio.org.cn/ 更好的文件存储系统 一个简单的搭建文档(https://www.yuque.com/docs/share/4112aafd-afe2-438b-aebc-e4c82e18201a?# 《MinIO 集群搭建以及跨集群桶单向/双向同步》)供参考,更多细节请查看官方文档(http://docs.minio.org.cn/docs/)  ------------------ 原始邮件 ------------------ 发件人: "happyfish100/fastdfs" @.>; 发送时间: 2022年8月14日(星期天) 中午12:19 @.>; @.@.>; 主题: Re: [happyfish100/fastdfs] 提供Docker 集群分布式部署方案 (#414) 个人拙见:(欢迎批评指正) 我们仅仅是把服务放到了容器内,容器网络模式仍然还是是host-network 模式,那么容器内的tracker服务无法摆脱宿主机网络的限制,客户端请求的数据节点依然还是宿主机的IP地址,快速更换存储服务器无从谈起。和没有容器化之前是一样的 不能快速跨主机迁移,想建立容器集群服务,还需要很多事要做呢。同志们加油 待解决的问题: 容器化以后的服务注册、服务发现。 容器跨主机的迁移,容器之间通信,不受宿主机的网络的影响 容器网络与宿主机网络映射等问题 服务的监控 tracker查询服务,搞成变成 LVS DR模式 以上的问题解决,我就可以不使用host模式的容器网络 如何快速加入和摘除数据节点 一些参考: 服务注册和服务发现,使用 DNS SRV+ ETCD 容器跨主机通信,使用OVN+OVS 可以解决 服务的监控和报警体系,使用Prometheus +Altermanager 通过Tracker 查询存储服务地址,搞成LVS 的 DR模式。 拙见提出的背景: 1. 鄙人看过和用过 cephadm 快速部署ceph服务; 2. 看过和实践过OVN+OVS用于跨主机的容器的通信,当然了还有calico、kube-ovn。基于 GENEVE 协议实现二层的overlay特别中意,正在想法子引入呢。 3. LVS IPVS 和 nginx stream 负载均衡 4. K8S 使用coreDNS+ETCD+IPVS 很赞,可以借用 同志们加油 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

minio 能商用吗 agpl的协议

lihulanxx avatar Nov 21 '23 00:11 lihulanxx

        我不太清楚,但我看到海康和一些其他厂商在商用,从他们的产品安装完成后拆解后发现里面有minio的身影,另外阿里,腾讯,华为的对象存储里面也看到了minio的身影
    
        
    

     
    
        
                    ***@***.***
        
    
 
    

---- 回复的原邮件 ----



  
    
     发件人 
    
    
        ***@***.***>
        
    
  
  
    
     发送日期 
    
    
    2023年11月21日 08:51
    
  
  
    
     收件人 
    
    
     
      
        ***@***.***>
        
      
    
  
  
    
     抄送人 
    
    
      
        ***@***.***>
        ,
      
      
        ***@***.***>
        
      
    
  
  
    
     主题 
    
    
          Re: [happyfish100/fastdfs] 提供Docker 集群分布式部署方案 (#414)
    
  

原作者已经不再维护,我这边也不再维护docker脚本了 建议你使用替代方案  Minio http://www.minio.org.cn/ 更好的文件存储系统 一个简单的搭建文档(https://www.yuque.com/docs/share/4112aafd-afe2-438b-aebc-e4c82e18201a?# 《MinIO 集群搭建以及跨集群桶单向/双向同步》)供参考,更多细节请查看官方文档(http://docs.minio.org.cn/docs/)  … ------------------ 原始邮件 ------------------ 发件人: "happyfish100/fastdfs" @.>; 发送时间: 2022年8月14日(星期天) 中午12:19 @.>; @.@.>; 主题: Re: [happyfish100/fastdfs] 提供Docker 集群分布式部署方案 (#414) 个人拙见:(欢迎批评指正) 我们仅仅是把服务放到了容器内,容器网络模式仍然还是是host-network 模式,那么容器内的tracker服务无法摆脱宿主机网络的限制,客户端请求的数据节点依然还是宿主机的IP地址,快速更换存储服务器无从谈起。和没有容器化之前是一样的 不能快速跨主机迁移,想建立容器集群服务,还需要很多事要做呢。同志们加油 待解决的问题: 容器化以后的服务注册、服务发现。 容器跨主机的迁移,容器之间通信,不受宿主机的网络的影响 容器网络与宿主机网络映射等问题 服务的监控 tracker查询服务,搞成变成 LVS DR模式 以上的问题解决,我就可以不使用host模式的容器网络 如何快速加入和摘除数据节点 一些参考: 服务注册和服务发现,使用 DNS SRV+ ETCD 容器跨主机通信,使用OVN+OVS 可以解决 服务的监控和报警体系,使用Prometheus +Altermanager 通过Tracker 查询存储服务地址,搞成LVS 的 DR模式。 拙见提出的背景: 1. 鄙人看过和用过 cephadm 快速部署ceph服务; 2. 看过和实践过OVN+OVS用于跨主机的容器的通信,当然了还有calico、kube-ovn。基于 GENEVE 协议实现二层的overlay特别中意,正在想法子引入呢。 3. LVS IPVS 和 nginx stream 负载均衡 4. K8S 使用coreDNS+ETCD+IPVS 很赞,可以借用 同志们加油 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

minio 能商用吗 agpl的协议

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you authored the thread.Message ID: @.***>

fwq418233640 avatar Nov 21 '23 02:11 fwq418233640