分类导航

Hadoop、消息队列服务、ELK、流计算、服务发现与配置、NoSQL/RDBMS、监控与显示、Web 服务器/代理、容器、CI/CD/质量管理、基础原理可视化

基础系统服务

收集开发过程中，常用到的基础系统服务。它们不仅在系统的架构中承担了重要的角色，也是每个开发者都应该深入学习的优秀典范。点击下面的 logo 可直接跳转到对应条目。

Hadoop

论文

:orange_book: GFS 论文中文版，外网链接
:orange_book: BigTable 论文中文版，外网链接
:orange_book: MapReduce 论文中文版，外网链接

HDFS

• [ ] 适合运行在通用硬件上的分布式文件系统
• [ ] 官方文档，架构和设计（英文）
• [ ] 官方文档，架构和设计（中文）
• [ ] Github 地址

HBase

• [ ] 一个分布式的、面向列的开源数据库
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

Yarn

• [ ] Hadoop 分布式处理框架中的资源管理和作业调度技术
• [ ] 官方文档（英文）
• [ ] Github 地址

Hive

• [ ] 基于 hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能
• [ ] 官网文档（英文）
• [ ] Github 地址

Kylin

• [ ] 一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官网文档（英文）
• [ ] 官网文档（中文）
• [ ] Github 地址

Parquet

• [ ] 一种高效的列式存储格式，适用于 Hadoop 生态系统中的任何项目，被广泛应用于数据分析、数据湖、机器学习、数据仓库等领域
• [ ] 官网（英文）
• [ ] 官网文档（英文）
• [ ] Github 地址

Spark

• [ ] 一个快速的，用于海量数据处理的通用引擎
• [ ] 官网（英文）
• [ ] 官网文档（英文）
• [ ] 翻译文档（中文）
• [ ] Github 地址

消息队列服务

Kafka

• [ ] 一个分布式流处理平台，目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Confluence（英文）
• [ ] Github 地址
• [ ] Kafka Tool：用于管理和使用 Kafka 集群的 GUI 应用程序，可以快速查看 Kafka 集群中的对象以及存储在 Topic 中的消息

ActiveMQ

• [ ] 一个多协议、基于 Java 的消息传递服务器
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

RocketMQ

• [ ] 阿里巴巴在 2012 年开源的分布式消息中间件
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

RabbitMQ

• [ ] 可以为你的应用提供一个通用的消息发送和接收平台，并且保证消息在传输过程中的安全
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 翻译文档（中文）
• [ ] Github 地址

ZeroMQ

• [ ] An open-source universal messaging library
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

ELK

Elasticsearch

• [ ] 基于Apache Lucene 的开源搜索引擎，它可以近乎实时的存储、检索数据
• [ ] 官网（中文）
• [ ] 官方文档（英文，基于最新版本, 推荐）
• [ ] 官方文档（中文，基于 2.x 版本）

Kibana

• [ ] 一个开源的分析与可视化平台，用于和 Elasticsearch 一起使用
• [ ] 官网（中文）
• [ ] 官方文档（中文）

Logstash

• [ ] 一个开源的数据收集引擎，具有实时管道功能
• [ ] 官网（中文）
• [ ] 官方文档（英文，基于最新版本）
• [ ] 翻译文档（中文，基于版本不详，来源不详）

Filebeat

• [ ] 轻量型日志采集器（基于 Go 语言开发）
• [ ] 官网（中文）
• [ ] 官方文档（英文，基于最新版本）
• [ ] 翻译文档（中文，基于版本不详，来源不详）

流计算

Flink

• [ ] 一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文 v1.9）
• [ ] 官方文档（中文 v1.9）
• [ ] Github 地址

Storm

• [ ] Twitter 开源的分布式实时大数据处理框架
• [ ] 官方文档（英文）
• [ ] Github 地址

服务发现与配置

ETCD

• [ ] 一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问
• [ ] 官网（英文）
• [ ] 官方文档（英文 v3.4.0）
• [ ] 翻译文档（中文）
• [ ] Github 地址
• [ ] ETCD 原理演示动画（英文）
• [ ] Raft 论文：英文 · 中文翻译

Zookeeper

• [ ] 一个分布式的，开放源码的分布式应用程序协调服务
• [ ] 官网（英文）
• [ ] 官方文档（英文 v3.5.6）
• [ ] 翻译文档（中文 from w3cschool）
• [ ] Github 地址

Consul

• [ ] 一种服务网格解决方案，提供具有服务发现，配置和分段功能的全功能控制平面
• [ ] 官网（英文）
• [ ] 官方文档
• [ ] 翻译文档（v1.4）
• [ ] Github 地址

Nacos

• [ ] 致力于帮助您发现、配置和管理微服务；帮助您更敏捷和容易地构建、交付和管理微服务平台
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

NoSQL/RDBMS

Redis

• [ ] 一个开源的，内存中的数据结构存储系统
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址
• [ ] 在线测试（英文）
• [ ] 命令参考（英文 · 中文）

MongoDB

• [ ] 一个通用的、基于分布式文件存储的数据库
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方教程（英文）
• [ ] 官方教程（中文）
• [ ] 官方手册（英文）
• [ ] 官方手册（中文）
• [ ] Github 地址

Cassandra

• [ ] 一个高度可扩展的分区行存储系统
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

Memcached

• [ ] 一个高性能的、分布式内存对象缓存系统
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

EVCache

• [ ] 基于 memcached 和 spymemcached 的缓存解决方案，主要用于 AWS EC2 基础设施来缓存常用数据
• [ ] 官网：同 Github
• [ ] 官方文档（英文）
• [ ] Github 地址

Aerospike

• [ ] ​​第一个 NoSQL 数据库，为始终在线的全球分布式业务交易，在大规模和一致性之间找到了平衡
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] Github 地址

ClickHouse

• [ ] ​​一个开源的、面向列的 OLAP 数据库管理系统，可以实时生成数据分析报告
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

OpenTSDB

• [ ] ​​在不丢失粒度的情况下存储和提供大量时间序列数据
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 翻译文档（中文 for v2.3）
• [ ] Github 地址

ApacheDruid

• [ ] ​一个高性能的实时分析数据库，可在大规模的负载下对流式传输和批处理数据提供亚秒级查询
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 翻译文档（中文）
• [ ] Github 地址

监控与显示

Prometheus

• [ ] 一个开源的监控报警系统和时序列数据库（TSDB）
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 翻译文档（中文）
• [ ] Github 地址

Grafana

• [ ] 一个开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

Web 服务器 / 代理

Nginx

• [ ] 一个免费的，开源的高性能 HTTP 服务器和反向代理，以及 IMAP/POP3 代理服务器
• [ ] 官网（英文）
• [ ] 中文网站
• [ ] 官方文档（英文）
• [ ] 翻译文档（中文）
• [ ] Github 地址

OpenResty

• [ ] 一款基于 NGINX 和 LuaJIT 的 Web 平台
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

Apache_httpd

• [ ] 项目的目标是提供一个安全，高效且可扩展的服务器，该服务器提供与当前HTTP标准同步的 HTTP 服务
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文，v2.4 版本，中英文混合）
• [ ] Github 地址

HAProxy

• [ ] HAProxy 是一款免费的，可为基于 TCP 和 HTTP 的应用程序提供高可用、负载均衡和代理的非常快速且可靠的解决方案。它特别适合于流量非常高的网站，并为世界上许多访问量最大的网站提供支持
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

Tengine

• [ ] Tengine 是由淘宝网发起的 Web 服务器项目。它在 Nginx 的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine 的性能和稳定性已经在大型的网站如淘宝网、天猫商城等得到了很好的检验
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

LVS

• [ ] 具有某些高级功能的 Linux 虚拟服务器发行版。它引入了一种新的数据包转发方法 FULLNAT，以及针对 Synflooding 攻击的防御机制 - SYNPROXY
• [ ] 官网（英文）
• [ ] 官网（中文论坛）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

Keepalived

• [ ] 基于 VRRP 协议，为 Linux 系统和基于 Linux 的基础架构提供负载均衡和高可用性的简单而强大的功能
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

容器

Docker

• [ ] 一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux 或 Windows 机器上
• [ ] 官网（英文）
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

Kubernetes

• [ ] 一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

Kubesphere

• [ ] 面向云原生应用的容器混合云，愿景是打造一个以 Kubernetes 为内核的云原生分布式操作系统
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

CI/CD/质量管理

Jenkins

• [ ] 一个提供友好操作界面的持续集成工具
• [ ] 官网（英文）
• [ ] 官网（中文）
• [ ] 官方文档（英文）
• [ ] 官方文档（中文）
• [ ] Github 地址

SonarQube

• [ ] 一个用于代码质量管理的开放平台
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

Spinnaker

• [ ] 一个开源的持续交付平台，用于快速、可靠地发布软件更改
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

SerenityBDD

• [ ] 一个测试自动化库，旨在简化编写自动验收测试的过程，并使其更加有趣（UI 测试）
• [ ] 官网（英文）
• [ ] 官方文档（英文）
• [ ] Github 地址

基础原理可视化

• B+Trees
• B-Trees
• Raft（主节点的选举过程动画）