ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk
ZooKeeper: 分布式协调服务
ZooKeeper是一个开源的为分布式应用提供分布式协调的服务。它公开了一组简单的原语,分布式应用程序可以基于这些原语实现更高级别的服务,包括同步、维护配置、组和命名。它的设计易于编程,它使用一个遵循文件系统中常见的目录树结构的数据模型。它在Java环境中运行,对Java和C都有绑定。
协调服务是出了名的难。它们特别容易出错,如竞态条件和死锁。ZooKeeper背后的动机是让分布式应用从零开始实现一站式协调服务。
设计目标
ZooKeeper很简单。通过共享一个类似于标准文件系统结构的层次名称空间,Zookeeper允许分布式进程进行各自的协调。名称空间中包含了注册数据——即所谓的znodes,它们类似于文件和目录。Zookeeper不像文件系统,目的是数据存储,Zookeeper的数据存放在内存中,这意味着zookeeper具有高吞吐量和低延迟的优点。
ZooKeeper非常注重高性能、高可用性、严格有序的访问。ZooKeeper的性能方面意味着它可以在大型分布式系统中使用。可靠性方面使它不会出现单点故障。严格有序意味着可以在客户端实现复杂的同步原语。
ZooKeeper是复制的。与它所协调的分布式进程一样,ZooKeeper本身也打算在一组主机上进行复制。
组成ZooKeeper的每个server之间都必须互相了解。每个server都维护状态信息(state)的内存映像,以及持久存储中的事务日志和快照。只要ZooKeeper中的大多数server可用,ZooKeeper服务就可用。
每个client连接到ZooKeeper集群中的某个server。客户端会与之建立TCP连接,通过该TCP连接来发送请求、获取响应、获取观察事件(watch events)以及发送心跳。如果TCP连接中断,客户端将连接到另一个server。
ZooKeeper是有序的。ZooKeeper给每次更新都贴上一个数字,这个数字反映了所有ZooKeeper事务的顺序。后续操作可以使用这个顺序来实现高级抽象,例如同步原语。
ZooKeeper速度很快,特别是在"以读为主"的工作负载中尤其快速。ZooKeeper应用程序可用在数千台机器上运行,在多读少写(比率在10:1左右)的环境中表现最好。
数据模型和有层次的名称空间
ZooKeeper提供的名称空间非常类似于标准文件系统。名称是由斜线(/)分隔的路径元素序列。在ZooKeeper名称空间中的每一个节点都是通过一条路径来标识的。
节点和临时节点
与标准文件系统不同的是,ZooKeeper名称空间中的每个节点(路径)都可以有与之关联的数据,子节点也如此(译注:即节点的路径自身携带数据)。这就像是一个既文件也目录的文件系统。(ZooKeeper的目的是存储协调数据:状态信息、配置、位置信息等,所以每个节点存储的数据通常都很小,一般都是kb级别的)。我们使用术语znode来明确说明我们正在讨论ZooKeeper数据节点。
znode维护一个包含数据更改版本号、ACL更改版本号和时间戳版本号的stat结构,以便能够做缓存验证和协调更新。每当znode的数据发生变化,版本号就会增加。例如,客户端每次检索数据的同时,也会接收数据的版本信息。
名称空间中,每个znode上存储的数据的读、写操作都是原子性的。读操作会获取与znode关联的所有数据,写操作会替换所有数据。每个节点都有一个访问控制列表(ACL),限制谁可以做什么。
ZooKeeper也有临时节点(ephemeral nodes)的概念。只要创建这些znode的会话(session)是活动的,这些znode就存在。当会话结束时,znode被删除。当您想要实现[tbd]时,临时节点非常有用。
协调更新和watch
ZooKeeper支持观察(watch)的概念。客户端可以在znode上设置一个watch。当znode更改时,将触发并删除一个watch。当watch被触发时,客户端会收到一个通知znode已更改的数据包。如果客户端和ZooKeeper server之间的TCP连接中断了,客户端将收到本地通知。这些可用于[tbd]。
ZooKeeper的保证
ZooKeeper快速又简单。但由于它的目标是作为构建更复杂服务(如同步)的基础,所以它要实现一些保证。包括:
- 序列的一致性:(Sequential Consistency)来自客户端的更新将按照发送的顺序进行应用。
- 原子性:(Atomicity)更新要么成功,要么失败。没有部分成功、失败的结果。
- 单系统映像:(Single System Image)无论连接到ZooKeeper中的哪个server,客户端都将看到相同的服务视图。
- 可靠性:(Reliability)一旦应用了更新,它将一直持续到有客户端对它做了覆盖更新。
- 时效性:(Timeliness)保证客户端看到的视图在一定的时间范围内是最新的。
更多信息,以及如何使用它们,请参见[tbd]。
Simple API
ZooKeeper的一个设计目标是提供非常简单的编程接口。因此,它只支持以下几个操作:
create
:在树中的某个位置创建一个节点。delete
:删除一个节点。exists
:测试一个节点是否存在。get data
:读取节点数据。set data
:向节点中写入数据。get children
:检索某节点的子节点列表。sync
:等待要传播的数据。
更深入内容,以及如何使用它们实现更高级别的操作,请参阅[tbd]。
Implementation
下图显示了ZooKeeper服务的高层组件。除了request processor,构成ZooKeeper Service的每个server都复制自己的每个组件副本。
replicated database是包含整个数据树(data tree)的内存数据库。每次发起的更新都会将其记录到磁盘中的日志,以便以后能够进行恢复(recovery),在更新真正应用到内存数据库之前,还会先将更新序列化到磁盘中。
每个ZooKeeper server都会为客户端提供服务。客户端连接到一个server来提交request。对于read request,每个server会从本地database的副本中提供服务。对于write request,这些请求会更改服务状态,它们由协商协议(agreement procotol)来处理。
作为协商协议(agreement procotol)的一部分,所有来自客户端的write request都被转发到一个称为leader的server上。ZooKeeper中的其它server,都称为follower,它们接收来自leader的消息,并传递那些达成一致的消息。消息层(messaging layer)负责在leader故障时选举新的leader,并剩余的follower和新的leader保持同步。
ZooKeeper使用一个自定义的原子消息传递协议。由于该消息层是原子性的,ZooKeeper可以保证本地副本永远不会出现分歧。当leader收到write request时,它会计算当写操作被执行时系统状态,并将其转换为带有该状态的事务。
ZooKeeper的使用
ZooKeeper的编程接口很简单。但有了它,您可以实现更高级的操作,比如同步原语、组成员关系(group membership)、所有权(ownership)等等。更多信息请参阅[tbd]。
ZooKeeper性能
ZooKeeper具有高性能。真的如此吗?雅虎ZooKeeper的开发团队的研究结果已经表明确实如此。(参见下图)。当读操作比写操作更频繁时,ZooKeeper的性能非常高,因为写操作会调用所有节点的状态同步。(协调服务的典型情况就是多读少写)。
注意:在3.2版本中,r/w的性能比3.1版本提高了大约2倍。