共计 5343 个字符，预计需要花费 14 分钟才能阅读完成。
本文介绍在 Kubernetes 集群中部署 MySQL 主从集群，数据持久化采用 NFS。
一、环境介绍
Mysql 版本：5.7
Mysql master 节点：
主机名：vm1
IP 地址：192.168.115.5/24
Mysql slave 节点：
主机名：vm2
IP 地址：192.168.115.6/24
NFS 节点：
主机名：vm2
IP 地址：192.168.115.6/24
共享目录：/home/mysql_master、/home/mysql_slave
二、准备 mysql 主从的镜像环境
dockerfile、docker-entrypoint.sh 文件下载地址如下
https://github.com/docker-library/mysql/tree/master/5.7
由于我们要配置 mysql 主从，所以需要对 dockerfile、docker-entrypoint.sh 文件做一点的修改，主要是在 mysql 主从配置部分。
准备 master 的镜像
将 Dockerfile, docker-entrypoint.sh 复制一份用于 build master 镜像文件。
在 Dockerfile 中添加如下内容，将 mysql master 的 server-id 设置为 1
RUN sed -i ‘/\[mysqld\]/a server-id=1\nlog-bin’ /etc/mysql/mysql.conf.d/mysqld.cnf
在 docker-entrypoint.sh 中添加如下内容，创建一个复制用户并赋权限，刷新系统权限表
echo “CREATE USER ‘$MYSQL_REPLICATION_USER’@’%’ IDENTIFIED BY ‘$MYSQL_REPLICATION_PASSWORD’ ;” | “${mysql[@]}”
echo “GRANT REPLICATION SLAVE ON *.* TO ‘$MYSQL_REPLICATION_USER’@’%’ IDENTIFIED BY ‘$MYSQL_REPLICATION_PASSWORD’ ;” | “${mysql[@]}”
echo ‘FLUSH PRIVILEGES ;’ | “${mysql[@]}”
准备 slave 的镜像
将 Dockerfile, docker-entrypoint.sh 复制一份用于 build slave 镜像文件。
在 Dockerfile 中添加如下内容，将 mysql slave 的 server-id 设置为一个随机数
RUN RAND=”$(date +%s | rev | cut -c 1-2)$(echo ${RANDOM})” && sed -i ‘/\[mysqld\]/a server-id=’$RAND’\nlog-bin’ /etc/mysql/mysql.conf.d/mysqld.cnf
在 docker-entrypoint.sh 中添加如下内容，配置连接 master 主机的 host、user、password 等参数，并启动复制进程。
echo “STOP SLAVE;” | “${mysql[@]}” echo “CHANGE MASTER TO master_host=’$MYSQL_MASTER_SERVICE_HOST’, master_user=’$MYSQL_REPLICATION_USER’, master_password=’$MYSQL_REPLICATION_PASSWORD’ ;” | “${mysql[@]}” echo “START SLAVE;” | “${mysql[@]}”
三、开始使用修改好的 dockerfile 创建 mysql master 和 slave 镜像
# cd /root/kubernetes/lnmp/mysql/Dockerfiles/Master
# docker build -t registry.fjhb.cn/mysql-master:0.1 .
# cd /root/kubernetes/lnmp/mysql/Dockerfiles/Slave
# docker build -t registry.fjhb.cn/mysql-slave:0.1 .
# docker push registry.fjhb.cn/mysql-master:0.1
# docker push registry.fjhb.cn/mysql-slave:0.1
四、创建 pv 和 pvc，用于 mysql 主从存储持久化数据
在 nfs 服务器上把目录创建出来
# cd /home/
# mkdir mysql_master mysql_slave 通过 yaml 文件创建出两组 pv 和 pvc
# cd /root/kubernetes/lnmp/mysql/Storage
# cat nfs-pv-master.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-nfs-mysql-master
spec:
capacity:
storage: 5Gi
accessModes:
– ReadWriteOnce
nfs:
path: /home/mysql_master
server: 192.168.115.6
persistentVolumeReclaimPolicy: Recycle
# cat nfs-pvc-master.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: pv-nfs-mysql-master
spec:
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 5Gi
# cat nfs-pv-slave.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv-nfs-mysql-slave
spec:
capacity:
storage: 6Gi
accessModes:
– ReadWriteOnce
nfs:
path: /home/mysql_slave
server: 192.168.115.6
persistentVolumeReclaimPolicy: Recycle
# cat nfs-pvc-slave.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: pv-nfs-mysql-slave
spec:
accessModes:
– ReadWriteOnce
resources:
requests:
storage: 6Gi
# kubectl create -f nfs-pv-master.yaml
# kubectl create -f nfs-pvc-master.yaml
# kubectl create -f nfs-pv-slave.yaml
# kubectl create -f nfs-pvc-slave.yaml
五、根据 yaml 文件创建 mysql master ReplicationController 和 services
# cat mysql-master-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
name: mysql-master
labels:
name: mysql-master
spec:
replicas: 1
selector:
name: mysql-master
template:
metadata:
labels:
name: mysql-master
spec:
containers:
– name: mysql-master
image: registry.fjhb.cn/mysql-master:0.1
volumeMounts:
– mountPath: /var/lib/mysql
name: mysql-master-data
ports:
– containerPort: 3306
env:
– name: MYSQL_ROOT_PASSWORD
value: “12345678”
– name: MYSQL_REPLICATION_USER
value: “repl”
– name: MYSQL_REPLICAITON_PASSWORD
value: “12345678”
volumes:
– name: mysql-master-data
persistentVolumeClaim:
claimName: pv-nfs-mysql-master
# cat mysql-master-svc.yaml
apiVersion: v1
kind: Service
metadata:
name: mysql-master
labels:
name: mysql-master
spec:
type: NodePort
ports:
– port: 3306
targetPort: 3306
name: http
nodePort: 30066
selector:
name: mysql-master
# kubectl create -f mysql-master-rc.yaml
# kubectl create -f mysql-master-svc.yaml
使用 mysql 客户端连接 master 测试
六、根据 yaml 文件创建 mysql slave ReplicationController 和 services
# cat mysql-slave-rc.yaml
apiVersion: v1
kind: ReplicationController
metadata:
name: mysql-slave
labels:
name: mysql-slave
spec:
replicas: 1
selector:
name: mysql-slave
template:
metadata:
labels:
name: mysql-slave
spec:
containers:
– name: mysql-slave
image: registry.fjhb.cn/mysql-slave:0.1
volumeMounts:
– mountPath: /var/lib/mysql
name: mysql-slave-data
ports:
– containerPort: 3306
env:
– name: MYSQL_ROOT_PASSWORD
value: “12345678”
– name: MYSQL_REPLICATION_USER
value: “repl”
– name: MYSQL_REPLICAITON_PASSWORD
value: “12345678”
volumes:
– name: mysql-slave-data
persistentVolumeClaim:
claimName: pv-nfs-mysql-slave
# cat mysql-slave-svc.yaml
apiVersion: v1
kind: Service
metadata:
name: mysql-slave
labels:
name: mysql-slave
spec:
type: NodePort
ports:
– port: 3306
targetPort: 3306
name: http
nodePort: 30067
selector:
name: mysql-slave
# kubectl create -f mysql-slave-rc.yaml
# kubectl create -f mysql-slave-svc.yaml
七、测试与排错
通过 mysql 命令行连接 slave 查看复制的状态，发现状态是 connecting
使用 slave 容器连接 master, 发现使用 root 账号可以正常连接，而使用 repl 账号无法正常连接，提示 access deny
修改 master 上的 repl 用户密码
mysql> alter user repl@’%’ identified by “12345678”;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
完成上述修改后在 slave 上进行验证一下，repl 账号可以正常连接
在 slave 上进行 change master 操作，因为创建镜像的时候并未配置 GTID 参数，所以这里不能使用 MASTER_AUTO_POSITION= 1 参数，如果要开启，需要去修改 Dockerfile，重新生成镜像。
mysql> stop slave;
mysql> set global sql_slave_skip_counter=1;
CHANGE MASTER TO \
MASTER_HOST=’mysql-master’, \
MASTER_USER=’repl’, \
MASTER_PASSWORD=’12345678′;
mysql> start slave;
