ZooKeeper是什么?它有哪些应用场景?
ZooKeeper是什么?它有哪些应用场景?
ZooKeeper是一个开源的分布式协调服务,广泛应用于分布式系统中。本文将详细介绍ZooKeeper的基本概念、主要特性和应用场景,帮助读者更好地理解和应用ZooKeeper。
1. ZooKeeper是什么?
直译:从名字上直译就是动物管理员,动物指的是Hadoop一类的分布式软件,管理员三个字体现了ZooKeeper的特点:维护、协调、管理、监控。
简述:有些软件你想做成集群或者分布式,你可以用ZooKeeper帮你来辅助实现。
特点:
- 最终一致性:客户端看到的数据最终是一致的。
- 可靠性:服务器保存了消息,那么它就一直都存在。
- 实时性:ZooKeeper不能保证两个客户端同时得到刚更新的数据。
- 独立性(等待无关):不同客户端直接互不影响。
- 原子性:更新要不成功要不失败,没有第三个状态。
2. ZooKeeper有哪些应用场景?
数据发布与订阅
发布与订阅即所谓的配置管理,顾名思义就是将数据发布到ZooKeeper节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,地址列表等就非常适合使用。
数据发布/订阅的一个常见的场景是配置中心,发布者把数据发布到ZooKeeper的一个或一系列的节点上,供订阅者进行数据订阅,达到动态获取数据的目的。
配置信息一般有几个特点:
- 数据量小的KV
- 数据内容在运行时会发生动态变化
- 集群机器共享,配置一致
ZooKeeper采用的是推拉结合的方式。
- 推:服务端会推给注册了监控节点的客户端Wathcer事件通知
- 拉:客户端获得通知后,然后主动到服务端拉取最新的数据
命名服务
作为分布式命名服务,命名服务是指通过指定的名字来获取资源或者服务的地址,利用ZooKeeper创建一个全局的路径,这个路径就可以作为一个名字,指向集群中的集群,提供的服务的地址,或者一个远程的对象等等。
统一命名服务的命名结构图如下所示:
- 在分布式环境下,经常需要对应用/服务进行统一命名,便于识别不同服务。
- 类似于域名与IP之间对应关系,IP不容易记住,而域名容易记住。
- 通过名称来获取资源或服务的地址,提供者等信息。
- 按照层次结构组织服务/应用名称。
- 可将服务名称以及地址信息写到ZooKeeper上,客户端通过ZooKeeper获取可用服务列表类。
配置管理
程序分布式的部署在不同的机器上,将程序的配置信息放在ZooKeeper的znode下,当有配置发生改变时,也就是znode发生变化时,可以通过改变zk中某个目录节点的内容,利用watch通知给各个客户端 从而更改配置。
ZooKeeper配置管理结构图如下所示:
- 分布式环境下,配置文件管理和同步是一个常见问题。
- 一个集群中,所有节点的配置信息是一致的,比如Hadoop集群。
- 对配置文件修改后,希望能够快速同步到各个节点上。
- 配置管理可交由ZooKeeper实现。
- 可将配置信息写入ZooKeeper上的一个Znode。
- 各个节点监听这个Znode。
- 一旦Znode中的数据被修改,ZooKeeper将通知各个节点。
集群管理
所谓集群管理就是:是否有机器退出和加入、选举master。
集群管理主要指集群监控和集群控制两个方面。前者侧重于集群运行时的状态的收集,后者则是对集群进行操作与控制。开发和运维中,面对集群,经常有如下需求:
- 希望知道集群中究竟有多少机器在工作
- 对集群中的每台机器的运行时状态进行数据收集
- 对集群中机器进行上下线的操作
集群管理结构图如下所示:
- 分布式环境中,实时掌握每个节点的状态是必要的,可根据节点实时状态做出一些调整。
- 可交由ZooKeeper实现。
- 可将节点信息写入ZooKeeper上的一个Znode。
- 监听这个Znode可获取它的实时状态变化。
- 典型应用
- Hbase中Master状态监控与选举。
利用ZooKeeper的强一致性,能够保证在分布式高并发情况下节点创建的全局唯一性,即:同时有多个客户端请求创建 /currentMaster节点,最终一定只有一个客户端请求能够创建成功
分布式通知与协调
- 分布式环境中,经常存在一个服务需要知道它所管理的子服务的状态。
a)NameNode需知道各个Datanode的状态。
b)JobTracker需知道各个TaskTracker的状态。 - 心跳检测机制可通过ZooKeeper来实现。
- 信息推送可由ZooKeeper来实现,ZooKeeper相当于一个发布/订阅系统。
分布式锁
处于不同节点上不同的服务,它们可能需要顺序的访问一些资源,这里需要一把分布式的锁。
分布式锁具有以下特性:写锁、读锁、时序锁。
写锁:在zk上创建的一个临时的无编号的节点。由于是无序编号,在创建时不会自动编号,导致只 能客户端有一个客户端得到锁,然后进行写入。
读锁:在zk上创建一个临时的有编号的节点,这样即使下次有客户端加入是同时创建相同的节点 时,他也会自动编号,也可以获得锁对象,然后对其进行读取。
时序锁:在zk上创建的一个临时的有编号的节点根据编号的大小控制锁。
分布式队列
分布式队列分为两种:
- 当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达,这种是同步队列。
a)一个job由多个task组成,只有所有任务完成后,job才运行完成。
b)可为job创建一个/job目录,然后在该目录下,为每个完成的task创建一个临时的Znode,一旦 临时节点数目达到task总数,则表明job运行完成。 - 队列按照FIFO方式进行入队和出队操作,例如实现生产者和消费者模型。