1.1 概述Zookeeper 是一个开源的分布式的为分布式框架提供协调服务的 Apache 项目。Zookeeper工作机制Zookeeper从设计模式角度来理解是一个基于观察者模式设计的分布式服务管理框架它负责存储和管理大家都关心的数据然后接受观察者的注册一旦这些注册的数据的状态发生变化Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。观察者模式示意图Hadoop生态体系中的ZookeeperZookeeper在Hadoop生态系统中扮演着重要的协调角色与HDFS、MapReduce、HBase、Hive、Pig等众多组件协同工作。1.2 特点Zookeeper集群架构Zookeeper一个领导者Leader多个跟随者Follower组成的集群。集群中只要有半数以上节点存活Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。全局数据一致每个Server保存一份相同的数据副本Client无论连接到哪个Server数据都是一致的。更新请求顺序执行来自同一个Client的更新请求按其发送顺序依次执行。数据更新原子性一次数据更新要么成功要么失败。实时性在一定时间范围内Client能读到最新数据。事务IDzxid每次写操作都有事务idzxid用于标识一次服务器状态的变更。1.3 数据结构ZooKeeper 数据模型的结构与 Unix 文件系统很类似整体上可以看作是一棵树每个节点称做一个ZNode。每一个ZNode 默认能够存储1MB的数据每个ZNode 都可以通过其路径唯一标识。ZNode树形结构/ ├── /znode1 │ ├── /znode1/leaf1 │ └── /znode1/leaf2 └── /znode2 └── /znode2/leaf1.4 应用场景Zookeeper提供的服务包括统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。1.4.1 统一命名服务在分布式环境下经常需要对应用/服务进行统一命名便于识别。例如IP不容易记住而域名容易记住。实现方式在Zookeeper上创建一个/service节点在/service下创建服务名称节点如www.baidu.com服务名称节点下存储多个IP地址如192.168.22.13、192.168.22.14、192.168.22.15客户端通过访问统一的服务名称由Zookeeper返回具体的服务器IP列表1.4.2 统一配置管理分布式环境下配置文件同步非常常见。(1) 一般要求一个集群中所有节点的配置信息是一致的比如Kafka集群。(2) 对配置文件修改后希望能够快速同步到各个节点上。配置管理可交由ZooKeeper实现(1) 可将配置信息写入ZooKeeper上的一个Znode。(2) 各个客户端服务器监听这个Znode。(3) 一旦Znode中的数据被修改ZooKeeper将通知各个客户端服务器。1.4.3 统一集群管理分布式环境中实时掌握每个节点的状态是必要的。(1) 可根据节点实时状态做出一些调整。ZooKeeper可以实现实时监控节点状态变化(1) 可将节点信息写入ZooKeeper上的一个ZNode。(2) 监听这个ZNode可获取它的实时状态变化。1.4.4 服务器动态上下线工作流程服务端启动时去注册信息创建都是临时节点客户端获取到当前在线服务器列表并且注册监听服务器节点下线临时节点自动删除客户端收到服务器节点上下线事件通知重新获取服务器列表1.4.5 软负载均衡在Zookeeper中记录每台服务器的访问数让访问数最少的服务器去处理最新的客户端请求。实现方式在/service节点下注册登录服务如www.atguigu.com每个服务器节点记录访问数如192.168.22.13 访问数60、192.168.22.14 访问数50、192.168.22.15 访问数55新请求分配给访问数最少的服务器1.5 下载地址1) 官网首页https://zookeeper.apache.org2) 下载截图点击 in the archive可进入历史版本下载进入官网首页点击 “Download ZooKeeper from the release page” 进入下载页面。3) 下载Linux环境安装的tar包以zookeeper-3.5.7版本为例访问https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/下载apache-zookeeper-3.5.7-bin.tar.gz8.9M2020-02-14发布版本选择建议Apache ZooKeeper 3.7.0较新的稳定版本Apache ZooKeeper 3.6.3广泛使用的中期版本Apache ZooKeeper 3.5.9文档中使用的版本适合学习Apache ZooKeeper 3.5.7文档中具体演示的版本总结特性说明定位分布式协调服务框架核心机制文件系统 通知机制观察者模式集群架构1个Leader 多个Follower存活条件半数以上节点存活即可正常服务数据一致性全局数据一致每个Server保存相同副本数据结构树形ZNode结构类似Unix文件系统节点容量每个ZNode默认可存储1MB数据主要应用统一命名、配置管理、集群管理、动态上下线、软负载均衡