RedHat Enterprise Linux 6.7 x64环境下使用RHCS部署Oracle 11g R2双机HA

 # mkfs.ext4 /dev/sdb1

# pvcreate /dev/sdb1
# vgcreate oraclevg /dev/sdb1
# lvcreate -n oraclelv -L +500G /dev/oraclevg      #可通过 vgdisplay 查看 vg 全部剩余 PE，然后使用‘-l PE 数’参数将 vg 全部剩余空间加入 lv 中，而无须使用 -L +xxGB 的方式
# mkfs.ext4 /dev/oraclevg/oraclelv
# mkdir /oradata
#

# mkdir /oradata
# chown oracle:oinstall /oradata

# service networkmanager stop
# chkconfig networkmanager off

DEVICE=bond0
NAME=bond0
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
IPADDR=35.1.1.250
NETMASK=255.255.255.0
GATEWAY=35.1.1.1         # 如果是心跳 IP 则不能配置此行
BONDING_OPTS="miimon=100 mode=1"

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
SLAVE=yes
MASTER=bond0

DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
SLAVE=yes
MASTER=bond0

alias bond0 bonding
alias bond1 bonding

# service NetworkManager stop
# chkconfig NetworkManager off
# service network restart

#/etc/hosts
35.1.1.250      ZHXYHDB01
35.1.1.251      ZHXYHDB02
35.1.1.245      ZHXYHDB

50.3.1.200      ZHXYHDB01-PRIV
50.3.1.201      ZHXYHDB02-PRIV

# mount -o loop redhat6.7.iso /mnt/iso

#rhel6.7.repo
[Server]
name=RHELServer
baseurl=file:///mnt/iso/Server
enabled=1
gpgcheck=0
[ResilientStorage]
name=RHELResilientStorage
baseurl=file:///mnt/iso/ResilientStorage
enabled=1
gpgcheck=0
[ScalableFileSystem]
name=RHELScalableFileSystem
baseurl=file:///mnt/iso/ScalableFileSystem
enabled=1
gpgcheck=0
[HighAvailability]
name=RHELHighAvailability
baseurl=file:///mnt/iso/HighAvailability
enabled=1
gpgcheck=0
[LoadBalancer]
name=RHELLoadBalancer
baseurl=file:///mnt/iso/LoadBalancer
enabled=1
gpgcheck=0

# yum clean all         # 终端输入此命令  更新源

# service iptables stop
# chkconfig iptables off

修改 /etc/selinux/config 文件
将 SELINUX=enforcing 改为 SELINUX=disabled
重启机器即可

https://docs.oracle.com/cd/E11882_01/install.112/e24326/toc.htm

# groupadd oinstall
# groupadd dba
# useradd -g oinstall -G dba oracle
# passwd oracle

在安装 Oracle 的时候需要调整 linux 的内核参数，但是各参数代表什么含义呢，下面做详细解析。Linux 安装文档中给出的最小值：fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586


各参数详解：kernel.shmmax：是核心参数中最重要的参数之一，用于定义单个共享内存段的最大值。设置应该足够大，能在一个共享内存段下容纳下整个的 SGA , 设置的过低可能会导致需要创建多个共享内存段，这样可能导致系统性能的下降。至于导致系统下降的主要原因为在实例启动以及 ServerProcess 创建的时候，多个小的共享内存段可能会导致当时轻微的系统性能的降低(在启动的时候需要去创建多个虚拟地址段，在进程创建的时候要让进程对多个段进行“识别”，会有一些影响)，但是其他时候都不会有影响。官方建议值：32 位 linux 系统：可取最大值为 4GB（4294967296bytes）-1byte，即 4294967295。建议值为多于内存的一半，所以如果是 32 为系统，一般可取值为 4294967295。32 位系统对 SGA 大小有限制，所以 SGA 肯定可以包含在单个共享内存段中。64 位 linux 系统：可取的最大值为物理内存值-1byte，建议值为多于物理内存的一半，一般取值大于 SGA_MAX_SIZE 即可，可以取物理内存 -1byte。例如，如果为 12GB 物理内存，可取 12*1024*1024*1024-1=12884901887，SGA 肯定会包含在单个共享内存段中。kernel.shmall：该参数控制可以使用的共享内存的总页数。Linux 共享内存页大小为 4KB, 共享内存段的大小都是共享内存页大小的整数倍。一个共享内存段的最大大小是 16G，那么需要共享内存页数是 16GB/4KB=16777216KB /4KB=4194304（页），也就是 64Bit 系统下 16GB 物理内存，设置 kernel.shmall = 4194304 才符合要求(几乎是原来设置 2097152 的两倍)。这时可以将 shmmax 参数调整到 16G 了，同时可以修改 SGA_MAX_SIZE 和 SGA_TARGET 为 12G（您想设置的 SGA 最大大小，当然也可以是 2G~14G 等，还要协调 PGA 参数及 OS 等其他内存使用，不能设置太满，比如 16G）kernel.shmmni：该参数是共享内存段的最大数量。shmmni 缺省值 4096，一般肯定是够用了。fs.file-max：该参数决定了系统中所允许的文件句柄最大数目，文件句柄设置代表 linux 系统中可以打开的文件的数量。fs.aio-max-nr：此参数限制并发未完成的请求，应该设置避免 I / O 子系统故障。推荐值是：1048576 其实它等于 1024*1024 也就是 1024K 个。kernel.sem：以 kernel.sem = 250 32000 100 128 为例：250 是参数 semmsl 的值，表示一个信号量集合中能够包含的信号量最大数目。32000 是参数 semmns 的值，表示系统内可允许的信号量最大数目。100 是参数 semopm 的值，表示单个 semopm()调用在一个信号量集合上可以执行的操作数量。128 是参数 semmni 的值，表示系统信号量集合总数。net.ipv4.ip_local_port_range：表示应用程序可使用的 IPv4 端口范围。net.core.rmem_default：表示套接字接收缓冲区大小的缺省值。net.core.rmem_max：表示套接字接收缓冲区大小的最大值。net.core.wmem_default：表示套接字发送缓冲区大小的缺省值。net.core.wmem_max：表示套接字发送缓冲区大小的最大值。

Oracle 官方文档推荐:
MEMORY_TARGET= 物理内存 x 80%
MEMORY_MAX_SIZE= 物理内存 x 80%

对于 OLTP 系统：SGA_TARGET=(物理内存 x 80%) x 80%
SGA_MAX_SIZE=(物理内存 x 80%) x 80%
PGA_AGGREGATE_TARGET=(物理内存 x 80%) x 20%

对于 DSS 系统：SGA_TARGET=(物理内存 x 80%) x 50%
SGA_MAX_SIZE=(物理内存 x 80%) x 50%
PGA_AGGREGATE_TARGET=(物理内存 x 80%) x 50%

#oracle
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 5242880
kernel.shmmax = 21474836480
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

limits.conf 的格式如下：username|@groupname type resource limit
  username|@groupname：设置需要被限制的用户名，组名前面加 @和用户名区别。也可以用通配符 *来做所有用户的限制。type：有 soft，hard 和 -，soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的限制不能比 har 限制高。用 - 就表明同时设置了 soft 和 hard 的值。resource：core - 限制内核文件的大小
  date - 最大数据大小
  fsize - 最大文件大小
  memlock - 最大锁定内存地址空间
  nofile - 打开文件的最大数目
  rss - 最大持久设置大小
  stack - 最大栈大小
  cpu - 以分钟为单位的最多 CPU 时间
  noproc - 进程的最大数目
  as - 地址空间限制
  maxlogins - 此用户允许登录的最大数目
  要使 limits.conf 文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有：session required /lib/security/pam_limits.so

oracle           soft    nproc   2047
oracle           hard    nproc   16384
oracle           soft    nofile  1024
oracle           hard    nofile  65536

# mkdir -p /opt/oracle/oracle11g
# mkdir -p /opt/oraInventory
# chown -R oracle:oinstall /opt/oracle
# chmod -R 775 /opt/oracle
# chown -R oracle:oinstall /opt/oraInventory
# chmod -R 775 /opt/oraInventory

#Oracle
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=$ORACLE_BASE/oracle11g
export ORACLE_SID=zxbank   #本项目的 oracle 实例名
export PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin

# . /etc/profile

binutils-2.20.51.0.2-5.11.el6 (x86_64)
compat-libcap1-1.10-1 (x86_64)
compat-libstdc++-33-3.2.3-69.el6 (x86_64)
compat-libstdc++-33-3.2.3-69.el6.i686
elfutils-libelf-0.161-3.el6(x86_64)
elfutils-0.161-3.el6(x86_64)
elfutils-devel-0.161-3.el6(x86_64)
elfutils-libs-0.161-3.el6(x86_64)
elfutils-libelf-devel-0.161-3(el6.x86_64)
gcc-4.4.4-13.el6 (x86_64)
gcc-c++-4.4.4-13.el6 (x86_64)
glibc-2.12-1.7.el6 (i686)
glibc-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6.i686
ksh
libgcc-4.4.4-13.el6 (i686)
libgcc-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6.i686
libstdc++-devel-4.4.4-13.el6 (x86_64)
libstdc++-devel-4.4.4-13.el6.i686
libaio-0.3.107-10.el6 (x86_64)
libaio-0.3.107-10.el6.i686
libaio-devel-0.3.107-10.el6 (x86_64)
libaio-devel-0.3.107-10.el6.i686
make-3.81-19.el6
sysstat-9.0.4-11.el6 (x86_64)
unixODBC-2.2.14-11.el6 (x86_64) or later
unixODBC-2.2.14-11.el6.i686 or later
unixODBC-devel-2.2.14-11.el6 (x86_64) or later
unixODBC-devel-2.2.14-11.el6.i686 or later

# yum -y install unixODBC*

# su - oracle

# export LANG=en_US

# cd database
# ./runInstaller

#oracle 账户下操作
# export LANG=en_US      #更改系统语言为英文，避免 netca 图像界面乱码
# netca

#oracle 账户下操作
# lsnrctl start

#mount /dev/oraclevg/oraclelv /oradata

# lsnrctl start

#oracle 账户下操作
# export LANG=en_US      #更改系统语言为英文，避免 netca 图像界面乱码
# dbca

 # mkfs.ext4 /dev/sdb1

# pvcreate /dev/sdb1
# vgcreate oraclevg /dev/sdb1
# lvcreate -n oraclelv -L +500G /dev/oraclevg      #可通过 vgdisplay 查看 vg 全部剩余 PE，然后使用‘-l PE 数’参数将 vg 全部剩余空间加入 lv 中，而无须使用 -L +xxGB 的方式
# mkfs.ext4 /dev/oraclevg/oraclelv
# mkdir /oradata
#

# mkdir /oradata
# chown oracle:oinstall /oradata

# service networkmanager stop
# chkconfig networkmanager off

DEVICE=bond0
NAME=bond0
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
IPADDR=35.1.1.250
NETMASK=255.255.255.0
GATEWAY=35.1.1.1         # 如果是心跳 IP 则不能配置此行
BONDING_OPTS="miimon=100 mode=1"

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
SLAVE=yes
MASTER=bond0

DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=none
SLAVE=yes
MASTER=bond0

alias bond0 bonding
alias bond1 bonding

# service NetworkManager stop
# chkconfig NetworkManager off
# service network restart

#/etc/hosts
35.1.1.250      ZHXYHDB01
35.1.1.251      ZHXYHDB02
35.1.1.245      ZHXYHDB

50.3.1.200      ZHXYHDB01-PRIV
50.3.1.201      ZHXYHDB02-PRIV

# mount -o loop redhat6.7.iso /mnt/iso

#rhel6.7.repo
[Server]
name=RHELServer
baseurl=file:///mnt/iso/Server
enabled=1
gpgcheck=0
[ResilientStorage]
name=RHELResilientStorage
baseurl=file:///mnt/iso/ResilientStorage
enabled=1
gpgcheck=0
[ScalableFileSystem]
name=RHELScalableFileSystem
baseurl=file:///mnt/iso/ScalableFileSystem
enabled=1
gpgcheck=0
[HighAvailability]
name=RHELHighAvailability
baseurl=file:///mnt/iso/HighAvailability
enabled=1
gpgcheck=0
[LoadBalancer]
name=RHELLoadBalancer
baseurl=file:///mnt/iso/LoadBalancer
enabled=1
gpgcheck=0

# yum clean all         # 终端输入此命令  更新源

# service iptables stop
# chkconfig iptables off

修改 /etc/selinux/config 文件
将 SELINUX=enforcing 改为 SELINUX=disabled
重启机器即可

https://docs.oracle.com/cd/E11882_01/install.112/e24326/toc.htm

# groupadd oinstall
# groupadd dba
# useradd -g oinstall -G dba oracle
# passwd oracle

在安装 Oracle 的时候需要调整 linux 的内核参数，但是各参数代表什么含义呢，下面做详细解析。Linux 安装文档中给出的最小值：fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586


各参数详解：kernel.shmmax：是核心参数中最重要的参数之一，用于定义单个共享内存段的最大值。设置应该足够大，能在一个共享内存段下容纳下整个的 SGA , 设置的过低可能会导致需要创建多个共享内存段，这样可能导致系统性能的下降。至于导致系统下降的主要原因为在实例启动以及 ServerProcess 创建的时候，多个小的共享内存段可能会导致当时轻微的系统性能的降低(在启动的时候需要去创建多个虚拟地址段，在进程创建的时候要让进程对多个段进行“识别”，会有一些影响)，但是其他时候都不会有影响。官方建议值：32 位 linux 系统：可取最大值为 4GB（4294967296bytes）-1byte，即 4294967295。建议值为多于内存的一半，所以如果是 32 为系统，一般可取值为 4294967295。32 位系统对 SGA 大小有限制，所以 SGA 肯定可以包含在单个共享内存段中。64 位 linux 系统：可取的最大值为物理内存值-1byte，建议值为多于物理内存的一半，一般取值大于 SGA_MAX_SIZE 即可，可以取物理内存 -1byte。例如，如果为 12GB 物理内存，可取 12*1024*1024*1024-1=12884901887，SGA 肯定会包含在单个共享内存段中。kernel.shmall：该参数控制可以使用的共享内存的总页数。Linux 共享内存页大小为 4KB, 共享内存段的大小都是共享内存页大小的整数倍。一个共享内存段的最大大小是 16G，那么需要共享内存页数是 16GB/4KB=16777216KB /4KB=4194304（页），也就是 64Bit 系统下 16GB 物理内存，设置 kernel.shmall = 4194304 才符合要求(几乎是原来设置 2097152 的两倍)。这时可以将 shmmax 参数调整到 16G 了，同时可以修改 SGA_MAX_SIZE 和 SGA_TARGET 为 12G（您想设置的 SGA 最大大小，当然也可以是 2G~14G 等，还要协调 PGA 参数及 OS 等其他内存使用，不能设置太满，比如 16G）kernel.shmmni：该参数是共享内存段的最大数量。shmmni 缺省值 4096，一般肯定是够用了。fs.file-max：该参数决定了系统中所允许的文件句柄最大数目，文件句柄设置代表 linux 系统中可以打开的文件的数量。fs.aio-max-nr：此参数限制并发未完成的请求，应该设置避免 I / O 子系统故障。推荐值是：1048576 其实它等于 1024*1024 也就是 1024K 个。kernel.sem：以 kernel.sem = 250 32000 100 128 为例：250 是参数 semmsl 的值，表示一个信号量集合中能够包含的信号量最大数目。32000 是参数 semmns 的值，表示系统内可允许的信号量最大数目。100 是参数 semopm 的值，表示单个 semopm()调用在一个信号量集合上可以执行的操作数量。128 是参数 semmni 的值，表示系统信号量集合总数。net.ipv4.ip_local_port_range：表示应用程序可使用的 IPv4 端口范围。net.core.rmem_default：表示套接字接收缓冲区大小的缺省值。net.core.rmem_max：表示套接字接收缓冲区大小的最大值。net.core.wmem_default：表示套接字发送缓冲区大小的缺省值。net.core.wmem_max：表示套接字发送缓冲区大小的最大值。

Oracle 官方文档推荐:
MEMORY_TARGET= 物理内存 x 80%
MEMORY_MAX_SIZE= 物理内存 x 80%

对于 OLTP 系统：SGA_TARGET=(物理内存 x 80%) x 80%
SGA_MAX_SIZE=(物理内存 x 80%) x 80%
PGA_AGGREGATE_TARGET=(物理内存 x 80%) x 20%

对于 DSS 系统：SGA_TARGET=(物理内存 x 80%) x 50%
SGA_MAX_SIZE=(物理内存 x 80%) x 50%
PGA_AGGREGATE_TARGET=(物理内存 x 80%) x 50%

#oracle
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 5242880
kernel.shmmax = 21474836480
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

limits.conf 的格式如下：username|@groupname type resource limit
  username|@groupname：设置需要被限制的用户名，组名前面加 @和用户名区别。也可以用通配符 *来做所有用户的限制。type：有 soft，hard 和 -，soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的限制不能比 har 限制高。用 - 就表明同时设置了 soft 和 hard 的值。resource：core - 限制内核文件的大小
  date - 最大数据大小
  fsize - 最大文件大小
  memlock - 最大锁定内存地址空间
  nofile - 打开文件的最大数目
  rss - 最大持久设置大小
  stack - 最大栈大小
  cpu - 以分钟为单位的最多 CPU 时间
  noproc - 进程的最大数目
  as - 地址空间限制
  maxlogins - 此用户允许登录的最大数目
  要使 limits.conf 文件配置生效，必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有：session required /lib/security/pam_limits.so

oracle           soft    nproc   2047
oracle           hard    nproc   16384
oracle           soft    nofile  1024
oracle           hard    nofile  65536

# mkdir -p /opt/oracle/oracle11g
# mkdir -p /opt/oraInventory
# chown -R oracle:oinstall /opt/oracle
# chmod -R 775 /opt/oracle
# chown -R oracle:oinstall /opt/oraInventory
# chmod -R 775 /opt/oraInventory

#Oracle
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=$ORACLE_BASE/oracle11g
export ORACLE_SID=zxbank   #本项目的 oracle 实例名
export PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin

# . /etc/profile

binutils-2.20.51.0.2-5.11.el6 (x86_64)
compat-libcap1-1.10-1 (x86_64)
compat-libstdc++-33-3.2.3-69.el6 (x86_64)
compat-libstdc++-33-3.2.3-69.el6.i686
elfutils-libelf-0.161-3.el6(x86_64)
elfutils-0.161-3.el6(x86_64)
elfutils-devel-0.161-3.el6(x86_64)
elfutils-libs-0.161-3.el6(x86_64)
elfutils-libelf-devel-0.161-3(el6.x86_64)
gcc-4.4.4-13.el6 (x86_64)
gcc-c++-4.4.4-13.el6 (x86_64)
glibc-2.12-1.7.el6 (i686)
glibc-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6 (x86_64)
glibc-devel-2.12-1.7.el6.i686
ksh
libgcc-4.4.4-13.el6 (i686)
libgcc-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6 (x86_64)
libstdc++-4.4.4-13.el6.i686
libstdc++-devel-4.4.4-13.el6 (x86_64)
libstdc++-devel-4.4.4-13.el6.i686
libaio-0.3.107-10.el6 (x86_64)
libaio-0.3.107-10.el6.i686
libaio-devel-0.3.107-10.el6 (x86_64)
libaio-devel-0.3.107-10.el6.i686
make-3.81-19.el6
sysstat-9.0.4-11.el6 (x86_64)
unixODBC-2.2.14-11.el6 (x86_64) or later
unixODBC-2.2.14-11.el6.i686 or later
unixODBC-devel-2.2.14-11.el6 (x86_64) or later
unixODBC-devel-2.2.14-11.el6.i686 or later

# yum -y install unixODBC*

# su - oracle

# export LANG=en_US

# cd database
# ./runInstaller

# sqlplus / as sysdba
> startup      #环境变量中已经指定了 Oracle_SID, 会自动启动此实例

# CREATE TABLESPACE shop_tb  #创建名为 shop_tb 的表空间

# CREATE USER shop IDENTIFIED BY shop DEFAULT TABLESPACE shop_tb

# grant connect,resource to shop;  
# grant create any sequence to shop;  
# grant create any table to shop;  
# grant delete any table to shop;  
# grant insert any table to shop;  
# grant select any table to shop;  
# grant unlimited tablespace to shop;  
# grant execute any procedure to shop;  
# grant update any table to shop;  
# grant create any view to shop;  

> shutdown immediate
# lsnrctl stop

# cd $ORACLE_HOME/dbs
# ls
    hc_zxbank.dat  init.ora  lkZXBANK  orapwzxbank  spfilezxbank.ora
#scp orapwzxbank oracle@35.1.1.251:/opt/oracle/oracle11g/dbs/

#scp spfilezxbank.ora oracle@35.1.1.251:/opt/oracle/oracle11g/dbs/

#cd $ORACLE_BASE/admin/zxbank
# mkdir {adump,bdump,cdump,dpdump,pfile,udump}

# umount /oradata

# chown -R oracle:oinstall /opt/oracle   #两节点分别执行

#oracle 账户下操作
# lsnrctl stop
# vi $ORACLE_HOME/network/admin/listener.ora

# litener.ora Network Configuration File: /opt/oracle/oracle11g/network/admin/listener.ora
# Generated by Oracle configuration tools.

LISTENER =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 35.1.1.245)(PORT = 1521))
    )
  )
SID_LIST_LISTENER =
  (SID_LIST =
    (SID_DESC =
      (SID_NAME = PLSExtProc)
      (ORACLE_HOME = /opt/oracle/oracle11g)
      (ENVS = EXTPROC_DLLS=ANY)
      (PROGRAM = extproc)
    )
    (SID_DESC =
 (GLOBAL_DBNAME = zxbank)
 (ORACLE_HOME = /opt/oracle/oracle11g)
 (SID_NAME = zxbank)
    )

)

ADR_BASE_LISTENER = /opt/oracle

1.    RHCS 简介
RHCS 是 Red Hat Cluster Suite 的缩写，即红帽子集群套件，RHCS 是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体，可以给 web 应用、数据库应用等提供安全、稳定的运行环境。高可用集群是 RHCS 的核心功能。当应用程序出现故障，或者系统硬件、网络出现故障时，应用可以通过 RHCS 提供的高可用性服务管理组件自动、快速从一个节点切换到另一个节点，节点故障转移功能对客户端来说是透明的，从而保证应用持续、不间断的对外提供服务，这就是 RHCS 高可用集群实现的功能。2.    RHCS 集群组成介绍
RHCS 是一个集群工具的集合，主要有下面几大部分组成：A、分布式集群管理器（CMAN）Cluster Manager，简称 CMAN，是一个分布式集群管理工具，它运行在集群的各个节点上，为 RHCS 提供集群管理任务。CMAN 用于管理集群成员、消息和通知。它通过监控每个节点的运行状态来了解节点成员之间的关系，当集群中某个节点出现故障，节点成员关系将发生改变，CMAN 及时将这种改变通知底层，进而做出相应的调整。B、锁管理（DLM）Distributed Lock Manager，简称 DLM，表示一个分布式锁管理器，它是 RHCS 的一个底层基础构件，同时也为集群提供了一个公用的锁运行机制，在 RHCS 集群系统中，DLM 运行在集群的每个节点上，GFS 通过锁管理器的锁机制来同步访问文件系统元数据。CLVM 通过锁管理器来同步更新数据到 LVM 卷和卷组。DLM 不需要设定锁管理服务器，它采用对等的锁管理方式，大大的提高了处理性能。同时，DLM 避免了当单个节点失败需要整体恢复的性能瓶颈，另外，DLM 的请求都是本地的，不需要网络请求，因而请求会立即生效。最后，DLM 通过分层机制，可以实现多个锁空间的并行锁��式。C、配置文件管理（CCS）Cluster Configuration System，简称 CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。CCS 运行在集群的每个节点上，监控每个集群节点上的单一配置文件/etc/cluster/cluster.conf 的状态，当这个文件发生任何变化时，都将此变化更新到集群中的每个节点，时刻保持每个节点的配置文件同步。例如，管理员在节点 A 上更新了集群配置文件，CCS 发现 A 节点的配置文件发生变化后，马上将此变化传播到其它节点上去。rhcs 的配置文件是 cluster.conf，它是一个 xml 文件，具体包含集群名称、集群节点信息、集群资源和服务信息、fence 设备等，这个会在后面讲述。D、栅设备（FENCE）FENCE 设备是 RHCS 集群中必不可少的一个组成部分，通过 FENCE 设备可以避免因出现不可预知的情况而造成的“脑裂”现象，FENCE 设备的出现，就是为了解决类似这些问题，Fence 设备主要就是通过服务器或存储本身的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开连接。FENCE 的工作原理是：当意外原因导致主机异常或者宕机时，备机会首先调用 FENCE 设备，然后通过 FENCE 设备将异常主机重启或者从网络隔离，当 FENCE 操作成功执行后，返回信息给备机，备机在接到 FENCE 成功的信息后，开始接管主机的服务和资源。这样通过 FENCE 设备，将异常节点占据的资源进行了释放，保证了资源和服务始终运行在一个节点上。RHCS 的 FENCE 设备可以分为两种：内部 FENCE 和外部 FENCE，常用的内部 FENCE 有 IBM RSAII 卡，HP 的 iLO 卡，还有 IPMI 的设备等，外部 fence 设备有 UPS、SAN SWITCH、NETWORK SWITCH 等
E、高可用服务管理器
 高可用性服务管理主要用来监督、启动和停止集群的应用、服务和资源。它提供了一种对集群服务的管理能力，当一个节点的服务失败时，高可用性集群服务管理进程可以将服务从这个失败节点转移到其它健康节点上来，并且这种服务转移能力是自动、透明的。RHCS 通过 rgmanager 来管理集群服务，rgmanager 运行在每个集群节点上，在服务器上对应的进程为 clurgmgrd。在一个 RHCS 集群中，高可用性服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如 apache、mysql 等，集群资源有很多种，例如一个 IP 地址、一个运行脚本、ext3/GFS 文件系统等。在 RHCS 集群中，高可用性服务是和一个失败转移域结合在一起的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，可以给每个节点设置相应的优先级，通过优先级的高低来决定节点失败时服务转移的先后顺序，如果没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。因此，通过创建失败转移域不但可以设定服务在节点间转移的顺序，而且可以限制某个服务仅在失败转移域指定的节点内进行切换。F、集群配置管理工具
 RHCS 提供了多种集群配置和管理工具，常用的有基于 GUI 的 system-config-cluster、Conga 等，也提供了基于命令行的管理工具。system-config-cluster 是一个用于创建集群和配置集群节点的图形化管理工具，它有集群节点配置和集群管理两个部分组成，分别用于创建集群节点配置文件和维护节点运行状态。一般用在 RHCS 早期的版本中。Conga 是一种新的基于网络的集群配置工具，与 system-config-cluster 不同的是，Conga 是通过 web 方式来配置和管理集群节点的。Conga 有两部分组成，分别是 luci 和 ricci，luci 安装在一台独立的计算机上，用于配置和管理集群，ricci 安装在每个集群节点上，Luci 通过 ricci 和集群中的每个节点进行通信。RHCS 也提供了一些功能强大的集群命令行管理工具，常用的有 clustat、cman_tool、ccs_tool、fence_tool、clusvcadm 等，这些命令的用法将在下面讲述。G、RedHat GFS
 GFS 是 RHCS 为集群系统提供的一个存储解决方案，它允许集群多个节点在块级别上共享存储，每个节点通过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS 是 RHCS 提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统，例如 EXT3、EXT2 所不能做到的。为了实现多个节点对于一个文件系统同时读写操作，GFS 使用锁管理器来管理 I / O 操作，当一个写进程操作一个文件时，这个文件就被锁定�%@C�此时不允许其它进程进行读写操作，直到这个写进程正常完成才释放锁，只有当锁被释放后，其它读写进程才能对这个文件进行操作，另外，当一个节点在 GFS 文件系统上修改数据后，这种修改操作会通过 RHCS 底层通信机制立即在其它节点上可见。在搭建 RHCS 集群时，GFS 一般作为共享存储，运行在每个节点上，并且可以通过 RHCS 管理工具对 GFS 进行配置和管理。这些需要说明的是 RHCS 和 GFS 之间的关系，一般初学者很容易混淆这个概念：运行 RHCS，GFS 不是必须的，只有在需要共享存储时，才需要 GFS 支持，而搭建 GFS 集群文件系统，必须要有 RHCS 的底层支持，所以安装 GFS 文件系统的节点，必须安装 RHCS 组件。

# yum grouplist

#是否存在 High Availability 和 High Availability Management
#中文环境下则为‘高可用性’和‘高可用性管理’

# yum  –y  groupinstall  "High Availability Management"  "High Availability"
 #中文环境下为：# yum  –y  groupinstall  "高可用性 "  " 高可用性管理"

# yum -y install lvm2-cluster

编辑 /etc/lvm/lvm.conf 文件，修改：locking_type = 3

# service clvmd start
# chkconfig clvmd on

# service ricci start         #启动集群软件
# chkconfig ricci on          #设置集群软件开机自动启动
# passwd ricci                #设置集群节点密码

# service luci start          #启动集群管理工具
# chkconfig luci on           #设置 luci 开机启动

https://35.1.1.250:8084        # 用户名和密码与系统 root 账号相同

# chmod 755 /etc/init.d/dbora

#!/bin/bash
export ORACLE_HOME=/oracle/oracle11g      #之前配置好的 ORACLE_HOME 和 ORACLE_SID, 保险起见在脚本中 export 一次
export ORACLE_SID=zxbank
start() {su - oracle<<EOF
  echo "Starting Listener...."
  $ORACLE_HOME/bin/lsnrctl start
  echo  "Starting Oracle11g Server... "
  sqlplus / as sysdba
  startup
  exit;
EOF
}
stop() {su - oracle<<EOF
  echo "Shutting down Listener......"
  $ORACLE_HOME/bin/lsnrctl stop
  echo "Shutting down Oracle11g Server..."
  sqlplus / as sysdba
  shutdown immediate;
  exit
EOF
}
restart() {
stop
start
}
status() {ps -ef |grep -v grep |grep ora_smon_${ORACLE_SID}
if [$? = 0 ]; then 
  exit 0
fi
}
case "$1" in
start)
  start
  ;;
stop)
  stop
  ;;
restart)
  restart
  ;;
status)
  status
  ;;
*)
  echo "Usage: $0 {start|stop|restart|status}"
  ;;
esac