阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

利用Shell脚本实现将Oracle数据库的每日EXPDP导出文件复制到远程服务器

539次阅读
没有评论

共计 2933 个字符,预计需要花费 8 分钟才能阅读完成。

我们有一套生产环境的 Oracle 数据库,虽然每天都有 RMAN 备份,但是也招架不住开发人员隔三差五就说要恢复几张表的前几天的数据到生产环境当中,针对这样的需求,用 RMAN 来恢复某几张表的数据就显的特别费劲了。于是我决定用 Oracle 数据库的逻辑备份工具 EXPDP(数据泵导出)专门导出特定用户下的所有表的数据,并在每天凌晨 4 点通过 LINUX 操作系统的 CRONTAB 的计划任务定时执行来完成。这样,开发人员再有需要恢复某几张表的时候,直接用 IMPDP(数据泵导入)工具导入某些表即可。这里,千万注意,导入时一定要加参数 REMAP_TABLE,其目的在于给要导入的表起一个和原表容易区分的名字,避免覆盖原表的数据。建议命名方式为原表名_当前日期,这样可读性更强。见下图参数 REMAP_TABLE 使用说明:

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

上面是解决了能够满足开发人员要恢复某些表的问题,但这样的导出文件 (*.DMP) 每天生成的容量就很大,而且是存放在本地,可想而知,本地的存储空间容量有限,也不能一直保留每天生成的 DMP 文件,时间长了,服务器的磁盘存储空间会撑爆滴。于是,采用一种 DMP 文件的清除保留策略,即在本地仅保留一份当天的 DMP 数据泵导出文件,把当天的 DMP 文件通过 SCP 命令远程复制到另一台 LINUX 服务器(专门存放 DMP 文件,容量有 50T,每块磁盘 3.6T,共有 14 块磁盘),复制完以后,同时清除昨天的 DMP 文件,让本地服务器始终保留一份当天的 DMP 文件,这样本地服务器的磁盘空间容量的问题就迎刃而解了。

如果每天手工用 SCP 命令复制的话,至于查看复制了多少,什么时候复制完,也是一个不可控的环节。在这里把 SCP 命令的操作写到一个 SHELL 脚本里同时生成复制进度的日志文件,并每天定时执行这个 SH 脚本,不用人工去干预,这样效率就大大提高了。

由于远程服务器的磁盘空间也就那么多 50T 左右,其中每一块磁盘有 3.6T,当第一块磁盘的空间不多的时候,比如把昨天的 DMP 文件复制到这块磁盘以后,它的可用空间已占 93%,也就是剩余空间只有 7% 时,今天生成的 DMP 文件应该存放到第二块磁盘了。所以这种情况,应该在 SH 脚本中必须进行条件判断。也就是要查看当前使用磁盘的剩余空间还有多少 G,以及当天生成的 DMP 文件总共有多少 G,前者的容量应该大于后者的容量,才能将这些 DMP 文件保存在这块磁盘里。否则,说明该块磁盘空间不足,必须将 DMP 文件保存在下一块磁盘里。

当然,要读取远程服务器的当前保存 DMP 文件所在磁盘的剩余空间的容量,就要使用 SSH 连接远程服务器,如果本地服务器没有配置 SSH 信任远程服务器的功能,要 SSH 连接远程服务器时,需要输入远程服务器的密码才能连接,这就是所谓的服务器之间的交互现象。而在我们下面即将展现的 SH 脚本当中是不允许出现交互情形的,否则,就丧失了脚本的自动化功能。

为此,我们先配置本地服务器 SSH 信任远程服务器的功能,让本地服务器使用 SSH 命令能够直接连到远程服务器。操作步骤见下图所示:

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

上面箭头指示的 3 个地方,都直接回车即可。将本地服务器生成的 SSH 公钥文件内容复制到远程服务器时,报错了。

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

经过查询 Google 文档,发现是没有用参数 - i 指定本地服务器生成的 SSH 公钥文件,查看当前服务器的操作系统是 RedHat Linux Server 5.4 x86_64。(而在 CentOS 6.6 Server x86_64 的操作系统上,直接就可以使用 ssh-copy-id 远程主机名 而不报错)其中,查询 Google 的操作步骤见下图,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

现在将本地服务器生成的 SSH 公钥文件内容复制到远程服务器,输入 yes 回车,并输入远程服务器的 oracle 用户的密码。见下图所示,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

下面用 SSH 命令直接连接远程服务器,如下图,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

在配置了本地服务器 SSH 信任远程服务器的功能以后,下面把通过 SCP 命令远程复制 EXPDP 文件的 SH 脚本内容展示一下,嘿嘿!

由于该 SH 脚本内容过多,所以我把它分成四部分来介绍,

1. 个人信息(算是给自己做一个宣传吧)、脚本的名字和一些功能介绍以及使用注意事项,见下图,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

2. 导入 Oracle 用户下的.bash_profile 环境配置文件和定义所有要使用的 SHELL 外部变量所在绝对路径的全局变量,见下图所示,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

3. 切换到 DMP 文件所在的目录、定义 当前日期和 DMP 文件所在目录总容量的 SHELL 全局变量、远程服务器磁盘字符串、SCP 命令生成的 LOG 文件等,见下图,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

4. 定义全局函数 SCP_EXPDP_PARALLEL(带并行导出 DMP 文件的 SCP 复制功能),并在最后进行调用它,见下图,

利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器

其中,有 3 点需要关注,

(1)在整个函数里,使用了两层 FOR 循环,外层是用来切换 远程服务器 的下一块磁盘,内层是用来复制 当天生成的 DMP 文件内容,并把前一天的 DMP 文件全部清除,因为本地服务器的磁盘存储空间有限,采用只保留当天的 DMP 文件,所以每次查看 EXPDP 目录,你会发现只有一份当天的 DMP 文件,这样也就达到了我要实现的目的。

(2)红色标注的那个 IF 条件判断语句,就是我在前面说明的磁盘空间容量比较,如果远程服务器上当前所在磁盘的剩余可用空间容量 大于 本地服务器上当天的 DMP 文件总容量,就把 DMP 文件复制到这块磁盘,否则,就执行 else 语句里的 continue 命令,即跳出本次内层 for 循环,读取下一块磁盘,把 DMP 文件复制到下一块磁盘。

(3)SCP 命令在执行过程中的复制进度百分比是在每时每刻都变化着的,这个过程是无法直接写到 LOG 日志文件里的,不信大家试一试?这里,必须用 SCRIPT 命令随时抓取 SCP 命令执行的变化值并记录到相应的 LOG 日志文件,即在 SCRIPT 命令后面使用“- a 参数 LOG 文件位置”来实现将变化值追加写到 LOG 文件,而在 SCRIPT 命令后面使用“- c 参数 SCP 命令”来实现远程复制操作。

以上就是我分享的全部内容,另外,我把那个 SHELL 脚本 scp_expdp_parallel_local_to_remote.sh 的源代码,大家如果需要可自行下载。

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /11 月 /11 日 / 利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器 /

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

更多 Oracle 相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=12

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-11/148508.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-22发表,共计2933字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7988990
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
【1024程序员】我劝你赶紧去免费领一个AWS、华为云等的主机

【1024程序员】我劝你赶紧去免费领一个AWS、华为云等的主机

【1024 程序员】我劝你赶紧去免费领一个 AWS、华为云等的主机 每年 10 月 24 日,程序员们都会迎来...
CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流!

CSDN,你是老太太喝粥——无齿下流! 大家好,我是星哥,今天才思枯竭,不写技术文章了!来吐槽一下 CSDN。...
你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你

你的云服务器到底有多强?宝塔跑分告诉你 为什么要用宝塔跑分? 宝塔跑分其实就是对 CPU、内存、磁盘、IO 做...
2025年11月28日-Cloudflare史诗级事故:一次配置失误,引爆全球宕机

2025年11月28日-Cloudflare史诗级事故:一次配置失误,引爆全球宕机

2025 年 11 月 28 日 -Cloudflare 史诗级事故: 一次配置失误,引爆全球宕机 前言 继今...
星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛NAS-2:飞牛配置RAID磁盘阵列

星哥带你玩飞牛 NAS-2:飞牛配置 RAID 磁盘阵列 前言 大家好,我是星哥之前星哥写了《星哥带你玩飞牛 ...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板

手把手教你,购买云服务器并且安装宝塔面板 前言 大家好,我是星哥。星哥发现很多新手刚接触服务器时,都会被“选购...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛NAS-14:解锁公网自由!Lucky功能工具安装使用保姆级教程

星哥带你玩飞牛 NAS-14:解锁公网自由!Lucky 功能工具安装使用保姆级教程 作为 NAS 玩家,咱们最...
如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装2026年最强个人助理ClawdBot、完整安装教程

如何安装 2026 年最强个人助理 ClawdBot、完整安装教程 一、前言 学不完,根本学不完!近期,一款名...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...