阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Zookeepr分布式集群搭建

158次阅读
没有评论

共计 4160 个字符,预计需要花费 11 分钟才能阅读完成。

zookeeper 下载:http://mirror.bit.edu.cn/apache/zookeeper/

不要下载源码的问下 下载 bin 的文件  源码有时候会找不到类

apache-zookeeper-3.6.0-bin.tar.gz

1.1 集群规划

在 linux1,linux2 和 linux3 三个节点上部署 Zookeeper,三个节点都已安装 jdk。

配置好 ssh key 免密登录

1. 首先配置 hosts 文件

vim /etc/hosts
192.168.10.11 linux1
192.168.10.12 linux2
192.168.10.13 linux3

2. 生成 ssh rsa 

第一台机器
[Hadoop@linux1 conf]$ ssh-keygen -t rsa
[hadoop@linux1 conf]$ ssh-copy-id linux2
[hadoop@linux1 conf]$ ssh-copy-id linux3
 
第二台机器
 
[hadoop@linux2 conf]$ ssh-keygen -t rsa
[hadoop@linux2 conf]$ ssh-copy-id linux1
[hadoop@linux2 conf]$ ssh-copy-id linux3
 
第三台机器
 
[hadoop@linux3 conf]$ ssh-keygen -t rsa
[hadoop@linux3 conf]$ ssh-copy-id linux1
[hadoop@linux3 conf]$ ssh-copy-id linux2

1.2 解压安装

tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz  -C /opt/module/<br>mv /opt/module/apache-zookeeper-3.6.0-bin /opt/module/apache-zookeeper-3.6.0

在 /opt/module/apache-zookeeper-3.6.0/ 这个目录下创建 Data

[hadoop@linux1 apache-zookeeper-3.6.0]$ mkdir Data

修改文件名称

mv zoo_sample.cfg zoo.cfg

1.3 配置 zoo.cfg 文件

具体配置,修改 dateDir, 添加日志存放目录

ataDir=/opt/module/apache-zookeeper-3.6.0/Data
dataLogDir=/opt/module/apache-zookeeper-3.6.0/Data/logs

在末尾增加

server.1=linux1:2888:3888
server.2=linux2:2888:3888
server.3=linux3:2888:3888

1.4 集群配置

(1)在 /opt/module/apache-zookeeper-3.6.0/Data 目录下创建一个 myid 的文件

[hadoop@linux1 Data]$ touch myid

(2)编辑 myid 文件,在文件中添加与 server 对应的编号:如 1   

[hadoop@linux1 Data]$ vi myid

Zookeepr 分布式集群搭建

 wq 保存退出

[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux2:/opt/module/
[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux3:/opt/module/

分别设置 linux1 和 linux2 的 myid 文件

[hadoop@linux1 module]$ ssh linux2
Last login: Tue Mar 24 11:32:24 2020 from linux1
[hadoop@linux2 ~]$ echo 2 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux2 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
2
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 module]$ 
 
 
[hadoop@linux1 module]$ ssh linux3
Last login: Mon Mar 23 14:15:50 2020
[hadoop@linux3 ~]$ echo 3 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux3 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
3
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 module]$ 

1.5 启动集群

[hadoop@linux1 apache-zookeeper-3.6.0]$ ./bin/zkServer.sh  start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux2
Last login: Tue Mar 24 11:33:58 2020 from linux1
[hadoop@linux2 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux 2
ssh: Could not resolve hostname linux: Name or service not known
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux3
Last login: Tue Mar 24 11:35:38 2020 from linux1
[hadoop@linux3 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$

1.6 配置环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.6.0
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

1.7zoo.cfg 配置参数解读

Server.A=B:C:D。

A 是一个数字,表示这个是第几号服务器;

B 是这个服务器的 ip 地址;

C 是这个服务器与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。

1)tickTime=2000:通信心跳数

tickTime:通信心跳数,Zookeeper 服务器心跳时间,单位毫秒

Zookeeper 使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳,时间单位为毫秒。

它用于心跳机制,并且设置最小的 session 超时时间为两倍心跳时间。(session 的最小超时时间是 2 *tickTime)

2)initLimit=10:LF 初始通信时限

集群中的 follower 跟随者服务器 (F) 与 leader 领导者服务器 (L) 之间初始连接时能容忍的最多心跳数(tickTime 的数量),用它来限定集群中的 Zookeeper 服务器连接到 Leader 的时限。

投票选举新 leader 的初始化时间

Follower 在启动过程中,会从 Leader 同步所有最新数据,然后确定自己能够对外服务的起始状态。

Leader 允许 F 在 initLimit 时间内完成这个工作。

3)syncLimit=5:LF 同步通信时限

集群中 Leader 与 Follower 之间的最大响应时间单位,假如响应超过 syncLimit * tickTime,

Leader 认为 Follwer 死掉,从服务器列表中删除 Follwer。

在运行过程中,Leader 负责与 ZK 集群中所有机器进行通信,例如通过一些心跳检测机制,来检测机器的存活状态。

如果 L 发出心跳包在 syncLimit 之后,还没有从 F 那收到响应,那么就认为这个 F 已经不在线了。

4)dataDir:数据文件目录 + 数据持久化路径

保存内存数据库快照信息的位置,如果没有其他说明,更新的事务日志也保存到数据库。

 5)clientPort=2181:客户端连接端口

监听客户端连接的端口

二. 客户端命令行操作

1)启动客户端

[hadoop@linux1 opt]$ zkCli.sh

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-21发表,共计4160字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中