ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。 ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。
ZooKeeper特性 1.全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连接到哪个服务器,展示的数据都是一致的,这是最重要的特征; 2.可靠性:如果消息被其中一台服务器接受,那么将被所有的服务器接受。 3.顺序性:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布。 4.数据更新原子性:一次数据更新要么成功(半数以上节点成功),要么失败,不存在中间状态; 5.实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。
ZooKeeper集群搭建 01 linux 环境 安装前需要安装好jdk 检测集群时间是否同步 检测防火墙是否关闭 检测主机 ip映射有没有配置
02 下载安装包 上传 解压
tar -zxvf zookeeper-3.4.5.tar.gz03修改环境变量(注意:3台zookeeper都需要修改)
vi /etc/profile export ZOOKEEPER_HOME=/home/hadoop/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile04修改Zookeeper配置文件
cd zookeeper/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg添加内容:
dataDir=/root/apps/zookeeper/zkdata server.1=主机名:2888:3888 server.2=主机名:2888:3888 server.3=主机名:2888:388805创建文件夹:
cd /home/hadoop/zookeeper/ mkdir zkdata在data文件夹下新建myid文件,myid的文件内容为:
cd zkdata echo 1 > myid06分发安装包到其他机器
scp -r /root/apps root@node02:/root/ scp -r /root/apps root@node03:/root/07修改其他机器的配置文件
修改myid文件 到node02上:修改myid为:2 到node03上:修改myid为:308启动(每台机器)
zkServer.sh start 或者编写一个脚本来批量启动所有机器: for host in "node01 node02 node03" do ssh $host "source/etc/profile;/root/apps/zookeeper/bin/zkServer.sh start" done09查看集群状态
jps(查看进程) zkServer.sh status(查看集群状态,主从信息) 如果启动不成功,可以观察zookeeper.out日志,查看错误信息进行排查