DNS 引起经典RAC故障实例及解决方法

共计 10835 个字符，预计需要花费 28 分钟才能阅读完成。

一、环境介绍：

这是一套四年前部署的 RAC 系统，之前运行一直很好，没有出过问题，平时基本处于无人管的状态。

OS:RedHat EnterPrise Linux 5.8 x86_x64

DB:Oracle Database EnterPrise  11.2.0.4

GI:Oracle Grid Infrastructure 11.2.0.4

二、问题描述：

        昨天临近下班接到现场人员故障请求，描述为数据库无法连接，报 ORA-12547:TNS: lost  CONNECT。当时第一反应是网络和监听故障，让现场人员进行 tnsping 和 ping 都是正常的。

三、问题现象：

        我到达现场后，首先查看了数据库的状态，发现数据库实例是停止运行状态，并且从日志中看不出明显报错；

      数据库日志：

     数据库状态：

四、手工带起数据库：

    日志信息：

五、问题分析：

        我从启动数据库来看，发现数据库此时无法正常启动，并随着报 ORA-00132，日志报 error 119。

        根据启动提示可以将问题定位到 scan，因 scan 故障引起数据库无法正常启动。

六、检查 scan 配置信息：

           我们可以看到，现在 scan 对应的三个地址都是通的，说明 SCAN 的服务是好的，但是 ping scan 所对应的域名的时候报无法找到主机，无法解析域名，那么下一步可以定位应该是域名服务出问题了。

七、在两台数据库服务器上检查域名 (dns) 服务，结果是域名服务器没有在这两台数据服务器上：

八、根据 resolv.conf 配置找到真正的域名服务器，发现域名域名服务器 hang 住：

九、修复域名服务器，现在可以正常解析：

十、再次启动数据库：

能正常启动，故障修复。

       从整个问题的处理思路来看该故障不仅考验解决数据库故障能力，同时安装，基本运行原理都有考察到，当然考验更多的应该还是 操作系统 和 DNS 服务的深入理解。

      当然我是很庆幸的，出于职业敏感度，一堆报错中瞬间发现问题根源 ORA-00132，而没有从其它报错信息入手。

本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-12/138576.htm