阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Zookeepr分布式集群搭建

474次阅读
没有评论

共计 4160 个字符,预计需要花费 11 分钟才能阅读完成。

zookeeper 下载:http://mirror.bit.edu.cn/apache/zookeeper/

不要下载源码的问下 下载 bin 的文件  源码有时候会找不到类

apache-zookeeper-3.6.0-bin.tar.gz

1.1 集群规划

在 linux1,linux2 和 linux3 三个节点上部署 Zookeeper,三个节点都已安装 jdk。

配置好 ssh key 免密登录

1. 首先配置 hosts 文件

vim /etc/hosts
192.168.10.11 linux1
192.168.10.12 linux2
192.168.10.13 linux3

2. 生成 ssh rsa 

第一台机器
[Hadoop@linux1 conf]$ ssh-keygen -t rsa
[hadoop@linux1 conf]$ ssh-copy-id linux2
[hadoop@linux1 conf]$ ssh-copy-id linux3
 
第二台机器
 
[hadoop@linux2 conf]$ ssh-keygen -t rsa
[hadoop@linux2 conf]$ ssh-copy-id linux1
[hadoop@linux2 conf]$ ssh-copy-id linux3
 
第三台机器
 
[hadoop@linux3 conf]$ ssh-keygen -t rsa
[hadoop@linux3 conf]$ ssh-copy-id linux1
[hadoop@linux3 conf]$ ssh-copy-id linux2

1.2 解压安装

tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz  -C /opt/module/<br>mv /opt/module/apache-zookeeper-3.6.0-bin /opt/module/apache-zookeeper-3.6.0

在 /opt/module/apache-zookeeper-3.6.0/ 这个目录下创建 Data

[hadoop@linux1 apache-zookeeper-3.6.0]$ mkdir Data

修改文件名称

mv zoo_sample.cfg zoo.cfg

1.3 配置 zoo.cfg 文件

具体配置,修改 dateDir, 添加日志存放目录

ataDir=/opt/module/apache-zookeeper-3.6.0/Data
dataLogDir=/opt/module/apache-zookeeper-3.6.0/Data/logs

在末尾增加

server.1=linux1:2888:3888
server.2=linux2:2888:3888
server.3=linux3:2888:3888

1.4 集群配置

(1)在 /opt/module/apache-zookeeper-3.6.0/Data 目录下创建一个 myid 的文件

[hadoop@linux1 Data]$ touch myid

(2)编辑 myid 文件,在文件中添加与 server 对应的编号:如 1   

[hadoop@linux1 Data]$ vi myid

Zookeepr 分布式集群搭建

 wq 保存退出

[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux2:/opt/module/
[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux3:/opt/module/

分别设置 linux1 和 linux2 的 myid 文件

[hadoop@linux1 module]$ ssh linux2
Last login: Tue Mar 24 11:32:24 2020 from linux1
[hadoop@linux2 ~]$ echo 2 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux2 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
2
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 module]$ 
 
 
[hadoop@linux1 module]$ ssh linux3
Last login: Mon Mar 23 14:15:50 2020
[hadoop@linux3 ~]$ echo 3 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux3 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
3
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 module]$ 

1.5 启动集群

[hadoop@linux1 apache-zookeeper-3.6.0]$ ./bin/zkServer.sh  start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux2
Last login: Tue Mar 24 11:33:58 2020 from linux1
[hadoop@linux2 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux 2
ssh: Could not resolve hostname linux: Name or service not known
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux3
Last login: Tue Mar 24 11:35:38 2020 from linux1
[hadoop@linux3 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$

1.6 配置环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.6.0
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

1.7zoo.cfg 配置参数解读

Server.A=B:C:D。

A 是一个数字,表示这个是第几号服务器;

B 是这个服务器的 ip 地址;

C 是这个服务器与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。

1)tickTime=2000:通信心跳数

tickTime:通信心跳数,Zookeeper 服务器心跳时间,单位毫秒

Zookeeper 使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳,时间单位为毫秒。

它用于心跳机制,并且设置最小的 session 超时时间为两倍心跳时间。(session 的最小超时时间是 2 *tickTime)

2)initLimit=10:LF 初始通信时限

集群中的 follower 跟随者服务器 (F) 与 leader 领导者服务器 (L) 之间初始连接时能容忍的最多心跳数(tickTime 的数量),用它来限定集群中的 Zookeeper 服务器连接到 Leader 的时限。

投票选举新 leader 的初始化时间

Follower 在启动过程中,会从 Leader 同步所有最新数据,然后确定自己能够对外服务的起始状态。

Leader 允许 F 在 initLimit 时间内完成这个工作。

3)syncLimit=5:LF 同步通信时限

集群中 Leader 与 Follower 之间的最大响应时间单位,假如响应超过 syncLimit * tickTime,

Leader 认为 Follwer 死掉,从服务器列表中删除 Follwer。

在运行过程中,Leader 负责与 ZK 集群中所有机器进行通信,例如通过一些心跳检测机制,来检测机器的存活状态。

如果 L 发出心跳包在 syncLimit 之后,还没有从 F 那收到响应,那么就认为这个 F 已经不在线了。

4)dataDir:数据文件目录 + 数据持久化路径

保存内存数据库快照信息的位置,如果没有其他说明,更新的事务日志也保存到数据库。

 5)clientPort=2181:客户端连接端口

监听客户端连接的端口

二. 客户端命令行操作

1)启动客户端

[hadoop@linux1 opt]$ zkCli.sh

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4160字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7985560
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛NAS-12:开源笔记的进化之路,效率玩家的新选择

星哥带你玩飞牛 NAS-12:开源笔记的进化之路,效率玩家的新选择 前言 如何高效管理知识与笔记,已经成为技术...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击

恶意团伙利用 PHP-FPM 未授权访问漏洞发起大规模攻击 PHP-FPM(FastCGl Process M...
飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛 NAS 玩转 Frpc 并且配置,随时随地直连你的私有云 大家好,我是星哥,最近在玩飞牛 NAS。 在数...
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸 前言 作为天天跟架构图、拓扑图死磕的...
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...