阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Redis主从实现10秒检查与恢复

444次阅读
没有评论

共计 3358 个字符,预计需要花费 9 分钟才能阅读完成。

Redis 主从架构

问题 :redis down 重启后,能恢复 key 值,时间会有延迟,down 机之间的值将会丢失。

实验环境,主从做在一台服务器上,利用不同端口。

解决方案:redis 主从至今还不算完善,我们利用 redis 主从主要做 redis 备份,master 宕机后,实现 10s 内尽可能的恢复 key 值,主主要做读写,实现快速读写,不做任何备份方式,从就简单实用 rdb 方式实现备份。

思路原理

redis 有两种持久化方式,rdb 与 aof 模式,考虑到 aof 模式增长过快,恢复比较缓慢,就在从上做 rdb 模式,主 down 之后,脚本检查主的状态,之后在从上做 bgsave,把从上的 rdb 文件 copy 到主的 data 目录里,重新启动主。通过判断主上 key 值得数量,是否跟从上的数量一样,来判断是否恢复正常,然后就可以实现 key 值得完全恢复。备份方式为,一个小时 copy 一次从上的 rbd 文件,做一个小时一次的备份。

Ubuntu 14.04 下 Redis 安装及简单测试 http://www.linuxidc.com/Linux/2014-05/101544.htm

Redis 集群明细文档 http://www.linuxidc.com/Linux/2013-09/90118.htm

Ubuntu 12.10 下安装 Redis(图文详解)+ Jedis 连接 Redis http://www.linuxidc.com/Linux/2013-06/85816.htm

Redis 系列 - 安装部署维护篇 http://www.linuxidc.com/Linux/2012-12/75627.htm

脚本的思路 主要实现上述思路原理,脚本有点别扭,2 做了主,1 做的 redis 从。别扭,实验,没时间修改

#!/bin/bash

DATE=`date +%Y%m%d%M%s`

REDIS_DIR=/usr/local/redis

REDIS2_DIR=/usr/local/redis2

BIN_DIR=/usr/local/redis/bin

DATA1_DIR=/usr/local/redis/data

DATA2_DIR=/usr/local/redis2/data

PORT1=6378

PORT2=6379

 

function BACKUP_RDB {

    ps -ef |grep $PORT2 >/dev/null

    if  [$? -eq 0];then

        ${BIN_DIR}/redis-cli -p $PORT2 bgsave >/dev/null

        if [$? -eq 0];then

            echo -e “\033[31m MASTER REDIS DOWN AND SLAVE bgsave DONE\033[0m”

            ${BIN_DIR}/redis-cli -p $PORT2 SLAVEOF NO ONE >/dev/null

        fi

    fi

}

 

function CP_RDB {

    [-d ${DATA1_DIR}/redisbackup ]  || mkdir ${DATA1_DIR}/redisbackup

    if [-f $DATA2_DIR/dump.rdb];then

        mv ${DATA1_DIR}/dump.rdb  ${DATA1_DIR}/redisbackup/dump.rdb.$DATE

        cp ${DATA2_DIR}/dump.rdb  ${DATA1_DIR}/

    fi

}

 

function  START_REDIS {

    KEY2_NUM=`${BIN_DIR}/redis-cli -p $PORT2 INFO  |grep db[0-9]*.key |awk -F[:=,] ‘{total+=$3}END{print total}’`

    ${BIN_DIR}/redis-server ${REDIS_DIR}/etc/redis.conf

    netstat -tnlp |grep “$PORT1” >/dev/null

    a=$?

    if [$a -ne 0];then

        while [$a -ne 0];do

            sleep 2

            netstat -tnlp | grep “127.0.0.1:$PORT1” 1>/dev/null 2>/dev/null

            a=$?

        done

        echo -e “\033[32m MASTER REDIS RUNNING ……..\033[0m”

        sleep 7

        KEY1_NUM=`${BIN_DIR}/redis-cli -p $PORT1  INFO  |grep db[0-9]*.key |awk -F[:=,] ‘{total+=$3}END{print

 

total}’`

#        echo ${KEY1_NUM}

        if [$KEY1_NUM -ge $KEY2_NUM];then

            ${BIN_DIR}/redis-cli -p $PORT2 SLAVEOF 127.0.0.1 $PORT1 >/dev/null

            echo -e “\033[32m MASTER AND SLAVE are Normal sync \033[0m”

        else

            echo -e “\033[31m KEY NUM are not equal, MASTER AND SLAVE are not Normal sync,place to check ! \033[0m”

            break

        fi

    else

        echo -e “\033[32m MASTER REDIS RUNNING ……..\033[0m”

        sleep 7

        KEY1_NUM=`${BIN_DIR}/redis-cli -p $PORT1 INFO  |grep db[0-9]*.key |awk -F[:=,] ‘{total+=$3}END{print total}’`

#        echo ${KEY1_NUM}

        if [$KEY1_NUM -ge $KEY2_NUM];then

            ${BIN_DIR}/redis-cli -p $PORT2 SLAVEOF 127.0.0.1 $PORT1 >/dev/null

            echo -e “\033[32m MASTER AND SLAVE are Normal sync \033[0m”

        else

            echo -e “\033[31m KEY NUM are not equal, MASTER AND SLAVE are not Normal sync,place to check ! \033[0m”

            break

        fi

    fi

}

 

 

while true;do

    sleep 10

    netstat -tnlp | grep “127.0.0.1:$PORT1” 1>/dev/null 2>/dev/null

    TRAP1=$?

    ps -ef |grep “$PORT1” >/dev/null

    TRAP2=$?

    if [$TRAP1 -ne  0] || [$TRAP2 -ne  0];then

        #echo redis-master down

        BACKUP_RDB

        CP_RDB

        START_REDIS

    fi

done

在恢复的过程中,比较主的 key 和主宕机后从的 key,来判断是否恢复正常,

遇到的问题:在恢复过程中,主 key 的值一直小于从的 key 的值,但是主启动完全正常,key 值也完全一样,经过思考发现,是程序执行问题,脚本执行太快,当执行到比较的时候,key 值得数量未完全恢复,只是时间的问题,所以执行了 sleep 3 秒之后,一切正常。大家要根据自己 key 值得数量的大小来决定判断 sleep 的时间。

如果有更好的 redis 主从实现方式,请分享。

CentOS 6.3 安装 Redis http://www.linuxidc.com/Linux/2012-12/75314.htm

Redis 安装部署学习笔记 http://www.linuxidc.com/Linux/2014-07/104306.htm

Redis 配置文件 redis.conf 详解 http://www.linuxidc.com/Linux/2013-11/92524.htm

Redis 的详细介绍 :请点这里
Redis 的下载地址 :请点这里

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计3358字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7964568
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛NAS-4:飞牛NAS安装istore旁路由,家庭网络升级的最佳实践

星哥带你玩飞牛 NAS-4:飞牛 NAS 安装 istore 旁路由,家庭网络升级的最佳实践 开始 大家好我是...
升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新SSL证书系统、申请godaddy的APIKEY

升级自动部署更新 SSL 证书系统、申请 godaddy 的 APIKEY 公司之前花钱购买的 ssl 证书快...
4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

4盘位、4K输出、J3455、遥控,NAS硬件入门性价比之王

  4 盘位、4K 输出、J3455、遥控,NAS 硬件入门性价比之王 开篇 在 NAS 市场中,威...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...