利用Shell脚本实现将Oracle数据库的每日EXPDP导出文件复制到远程服务器

共计 2933 个字符，预计需要花费 8 分钟才能阅读完成。

我们有一套生产环境的 Oracle 数据库，虽然每天都有 RMAN 备份，但是也招架不住开发人员隔三差五就说要恢复几张表的前几天的数据到生产环境当中，针对这样的需求，用 RMAN 来恢复某几张表的数据就显的特别费劲了。于是我决定用 Oracle 数据库的逻辑备份工具 EXPDP(数据泵导出)专门导出特定用户下的所有表的数据，并在每天凌晨 4 点通过 LINUX 操作系统的 CRONTAB 的计划任务定时执行来完成。这样，开发人员再有需要恢复某几张表的时候，直接用 IMPDP(数据泵导入)工具导入某些表即可。这里，千万注意，导入时一定要加参数 REMAP_TABLE，其目的在于给要导入的表起一个和原表容易区分的名字，避免覆盖原表的数据。建议命名方式为原表名_当前日期，这样可读性更强。见下图参数 REMAP_TABLE 使用说明：

上面是解决了能够满足开发人员要恢复某些表的问题，但这样的导出文件 (*.DMP) 每天生成的容量就很大，而且是存放在本地，可想而知，本地的存储空间容量有限，也不能一直保留每天生成的 DMP 文件，时间长了，服务器的磁盘存储空间会撑爆滴。于是，采用一种 DMP 文件的清除保留策略，即在本地仅保留一份当天的 DMP 数据泵导出文件，把当天的 DMP 文件通过 SCP 命令远程复制到另一台 LINUX 服务器(专门存放 DMP 文件，容量有 50T，每块磁盘 3.6T，共有 14 块磁盘)，复制完以后，同时清除昨天的 DMP 文件，让本地服务器始终保留一份当天的 DMP 文件，这样本地服务器的磁盘空间容量的问题就迎刃而解了。

如果每天手工用 SCP 命令复制的话，至于查看复制了多少，什么时候复制完，也是一个不可控的环节。在这里把 SCP 命令的操作写到一个 SHELL 脚本里同时生成复制进度的日志文件，并每天定时执行这个 SH 脚本，不用人工去干预，这样效率就大大提高了。

由于远程服务器的磁盘空间也就那么多 50T 左右，其中每一块磁盘有 3.6T，当第一块磁盘的空间不多的时候，比如把昨天的 DMP 文件复制到这块磁盘以后，它的可用空间已占 93%，也就是剩余空间只有 7% 时，今天生成的 DMP 文件应该存放到第二块磁盘了。所以这种情况，应该在 SH 脚本中必须进行条件判断。也就是要查看当前使用磁盘的剩余空间还有多少 G，以及当天生成的 DMP 文件总共有多少 G，前者的容量应该大于后者的容量，才能将这些 DMP 文件保存在这块磁盘里。否则，说明该块磁盘空间不足，必须将 DMP 文件保存在下一块磁盘里。

当然，要读取远程服务器的当前保存 DMP 文件所在磁盘的剩余空间的容量，就要使用 SSH 连接远程服务器，如果本地服务器没有配置 SSH 信任远程服务器的功能，要 SSH 连接远程服务器时，需要输入远程服务器的密码才能连接，这就是所谓的服务器之间的交互现象。而在我们下面即将展现的 SH 脚本当中是不允许出现交互情形的，否则，就丧失了脚本的自动化功能。

为此，我们先配置本地服务器 SSH 信任远程服务器的功能，让本地服务器使用 SSH 命令能够直接连到远程服务器。操作步骤见下图所示：

上面箭头指示的 3 个地方，都直接回车即可。将本地服务器生成的 SSH 公钥文件内容复制到远程服务器时，报错了。

经过查询 Google 文档，发现是没有用参数 - i 指定本地服务器生成的 SSH 公钥文件，查看当前服务器的操作系统是 RedHat Linux Server 5.4 x86_64。(而在 CentOS 6.6 Server x86_64 的操作系统上，直接就可以使用 ssh-copy-id 远程主机名 而不报错)其中，查询 Google 的操作步骤见下图，

现在将本地服务器生成的 SSH 公钥文件内容复制到远程服务器，输入 yes 回车，并输入远程服务器的 oracle 用户的密码。见下图所示，

下面用 SSH 命令直接连接远程服务器，如下图，

在配置了本地服务器 SSH 信任远程服务器的功能以后，下面把通过 SCP 命令远程复制 EXPDP 文件的 SH 脚本内容展示一下，嘿嘿！

由于该 SH 脚本内容过多，所以我把它分成四部分来介绍，

1. 个人信息(算是给自己做一个宣传吧)、脚本的名字和一些功能介绍以及使用注意事项，见下图，

2. 导入 Oracle 用户下的.bash_profile 环境配置文件和定义所有要使用的 SHELL 外部变量所在绝对路径的全局变量，见下图所示，

3. 切换到 DMP 文件所在的目录、定义 当前日期和 DMP 文件所在目录总容量的 SHELL 全局变量、远程服务器磁盘字符串、SCP 命令生成的 LOG 文件等，见下图，

4. 定义全局函数 SCP_EXPDP_PARALLEL(带并行导出 DMP 文件的 SCP 复制功能)，并在最后进行调用它，见下图，

其中，有 3 点需要关注，

(1)在整个函数里，使用了两层 FOR 循环，外层是用来切换 远程服务器 的下一块磁盘，内层是用来复制 当天生成的 DMP 文件内容，并把前一天的 DMP 文件全部清除，因为本地服务器的磁盘存储空间有限，采用只保留当天的 DMP 文件，所以每次查看 EXPDP 目录，你会发现只有一份当天的 DMP 文件，这样也就达到了我要实现的目的。

(2)红色标注的那个 IF 条件判断语句，就是我在前面说明的磁盘空间容量比较，如果远程服务器上当前所在磁盘的剩余可用空间容量 大于 本地服务器上当天的 DMP 文件总容量，就把 DMP 文件复制到这块磁盘，否则，就执行 else 语句里的 continue 命令，即跳出本次内层 for 循环，读取下一块磁盘，把 DMP 文件复制到下一块磁盘。

(3)SCP 命令在执行过程中的复制进度百分比是在每时每刻都变化着的，这个过程是无法直接写到 LOG 日志文件里的，不信大家试一试？这里，必须用 SCRIPT 命令随时抓取 SCP 命令执行的变化值并记录到相应的 LOG 日志文件，即在 SCRIPT 命令后面使用“- a 参数 LOG 文件位置”来实现将变化值追加写到 LOG 文件，而在 SCRIPT 命令后面使用“- c 参数 SCP 命令”来实现远程复制操作。

以上就是我分享的全部内容，另外，我把那个 SHELL 脚本 scp_expdp_parallel_local_to_remote.sh 的源代码，大家如果需要可自行下载。

—————————————— 分割线 ——————————————

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017 年资料 /11 月 /11 日 / 利用 Shell 脚本实现将 Oracle 数据库的每日 EXPDP 导出文件复制到远程服务器 /

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

—————————————— 分割线 ——————————————

更多 Oracle 相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=12

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-11/148508.htm