Proxmox VE搭配Ceph存储组建高可用虚拟化平台

共计 6478 个字符，预计需要花费 17 分钟才能阅读完成。

随着项项目的增多，对测试环境的需求越来越大，今天研发要几台测试环境，明天测试也要几台测试环境，连产品都要测试环境了，咱们运维也得有自己的测试环境，之前搭建的 exsi 已经满足不了需求了。

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

刚好内网有几台闲置的机器，于是就着手准备再搭建一套虚拟化平台，EXSI 虽说好用，但毕竟是要钱的（之前用的破解版的），本着尊重版权的原则，咱们还是用开源的吧，网上找了一圈，发现目前比较活跃的 KVM 虚拟化平台有 OpenStack、Proxmox VE、oVirt，内部测试用用，OpenStack 有点大材小用了，Proxmox VE 基本 debian 定制的，不太喜欢这种模式，而且对 debian 不是太熟悉，个人还是比较倾向于 oVirt，因为 oVirt 的目标就是瞄准 vCenter，而且 oVirt 和 RHEV 的关系，有点像 Fedora 和 RHEL，直接 CentOS7+Ovirt+GlusterFS 比较好的解决方案，怎奈，淘汰下的机器实在是太老了，Ovirt 表示硬件不支持，没办法，只能试试 Proxmox VE 了。

手头资源有限，所以这里先用三台机器组集群环境，用 Proxmox VE 再配合 Ceph 存储组成一个高可用的虚拟化平台，Proxmox VE 的安装过程这里就不写了，实在是太简单了，将网上下载的 proxmox-ve_5.2-1.iso 制作成 U 盘启动盘，U 盘启动，一路下一步就可以了，设置好 root 密码、IP、hostname 等信息就好了，ostname 要求写成 FQDN 格式。

#hosts 文件配置

root@proxmox233:~# cat >> /etc/hosts << EOF
192.168.5.232 proxmox232.blufly.com proxmox232
192.168.5.231 proxmox231.blufly.com proxmox231
EOF

root@proxmox232:~# cat >> /etc/hosts << EOF
192.168.5.233 proxmox233.blufly.com proxmox233
192.168.5.231 proxmox231.blufly.com proxmox231
EOF

root@proxmox231:~# cat >> /etc/hosts << EOF
192.168.5.232 proxmox232.blufly.com proxmox232
192.168.5.233 proxmox233.blufly.com proxmox233
EOF

#debian 系统更新

rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade
apt-get install net-tools

设置时钟同步：

apt-get install ntpdate
ntpdate 120.25.108.11
echo "0 * * * * /usr/sbin/ntpdate 120.25.108.11 > /dev/null 2>&1" >> /etc/crontab

# 配置免登陆访问（这一步可以省略，在加入集群的时候，会自动建立信任关系）

root@proxmox231:~# ssh-keygen -t rsa
root@proxmox231:~# ssh-copy-id root@proxmox231
root@proxmox231:~# ssh-copy-id root@proxmox232
root@proxmox231:~# ssh-copy-id root@proxmox233

root@proxmox232:~# ssh-keygen -t rsa
root@proxmox232:~# ssh-copy-id root@proxmox231
root@proxmox232:~# ssh-copy-id root@proxmox232
root@proxmox233:~# ssh-copy-id root@proxmox233

root@proxmox233:~# ssh-keygen -t rsa
root@proxmox233:~# ssh-copy-id root@proxmox231
root@proxmox233:~# ssh-copy-id root@proxmox232
root@proxmox233:~# ssh-copy-id root@proxmox233

# 在 192.168.5.231 上面创建 pve-cluster 集群

root@proxmox231:~# pvecm create pve-cluster

# 接下来，通过 ssh 登陆其他 2 个 pve 节点，执行 pvecm add 192.168.5.231

root@proxmox233:~# pvecm add 192.168.5.231
successfully added node 'proxmox233' to cluster.

root@proxmox232:~# pvecm add 192.168.5.231
successfully added node 'proxmox232' to cluster.

#pvecm status 在任何一个节点上查看集群情况

root@proxmox231:~# pvecm status
Quorum information
------------------
Date:             Fri Sep 28 15:39:20 2018
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1/12
Quorate:          Yes
Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2  
Flags:            Quorate 
Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 192.168.5.231 (local)
0x00000003          1 192.168.5.232
0x00000002          1 192.168.5.233

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

Proxmox 支持两种磁盘，一种是服务器本地自带磁盘，另一种是外部存储设备的磁盘。对于服务器本地磁盘，可以配置成本地目录、zfs、brd、lvm 几种形式。

对于外部存储设备的磁盘，可以通过 nfs，iscsi 或者 fc 协议挂载到 Proxmox 服务器使用。其中 nfs 挂载上以后，可以直接作为文件存储使用，通过 iscsi 或者 fc 协议挂载后，Proxmox 服务器会识别为裸磁盘设备，还需要进一步配置后才可以使用。例如可以配置成 lvm，作为卷存储使用，也可以配置成本地目录，作为文件存储使用，但强烈建议不要配置为 zfs 使用，因为 zfs 的特点是要求能直接管理物理磁盘设备，如果中间有 raid 卡等，会严重影响 zfs 的正常运行。

当然，用户也可以配置外部的 glusterfs、ceph、sheepdog 等基于服务器的分布式存储。对于 glusterfs，应该是可以直接通过菜单挂载；对于 ceph，需要通过 iscsi 协议挂载；对于 sheepdog，需要手工安装 sheepdog 插件，然后在命令行配置挂载。glusterfs 挂载后可以作为文件存储使用，ceph 和 sheepdog 应该都只能作为卷存储使用了。

前面多次提到了文件存储和卷存储两个概念，又有什么区别呢？主要是 Proxmox 对于存储使用是有多种需求的，例如对于虚拟磁盘，就有 raw，qcow2，vmdk 三种，另外还有 iso 镜像文件、gz 容器模版文件、虚拟机备份文件的保存需求，这些都需要文件存储才可以实现。当然，用户也可以直接用用 lvm 逻辑卷或 zvol 逻辑卷或 rbd 卷的方式保存虚拟机的磁盘，相当于 raw 格式的效果，这就可以使用卷存储来实现。

那么，说了那么多，到底该怎么配置和选择呢？简单总结下，一般的配置是这样。

本地磁盘 - 本地目录 - 文件存储

本地磁盘 -lvm- 卷存储

本地磁盘 -zfs- 卷存储 / 文件存储

本地磁盘 -ceph- 卷存储

外部存储 -nfs- 文件存储

外部存储 -iscci/fc-lvm- 卷存储

外部存储 -iscsi/fc- 目录 - 文件存储

外部 glusterfs-glusterfs 插件挂载 - 文件存储

外部 ceph-iscsi- 卷存储

外部 sheepdog- 插件挂载 - 卷存储

# 在每个节点上安装 ceph，详见 https://pve.proxmox.com/pve-docs/chapter-pveceph.html

root@proxmox231:~# pveceph install --version luminous
root@proxmox232:~# pveceph install --version luminous
root@proxmox233:~# pveceph install --version luminous

# 配置 ceph 集群存储网络

root@proxmox231:~# pveceph init --network 192.168.5.0/24

# 创建 ceph 集群存储 Mon 监控

root@proxmox231:~# pveceph createmon
root@proxmox232:~# pveceph createmon
root@proxmox233:~# pveceph createmon

# 创建 mgr

root@proxmox231:~# pveceph createmgr
root@proxmox232:~# pveceph createmgr
root@proxmox233:~# pveceph createmgr

# 创建 Ceph OSDs

root@proxmox231:~# pveceph createosd /dev/sdb
root@proxmox232:~# pveceph createosd /dev/sdb
root@proxmox233:~# pveceph createosd /dev/sdb

# 创建集群存储资源池 ceph osd pool create [资源池名称] 128 128

root@proxmox231:~# ceph osd pool create pvepool 128 128
pool 'pvepool' created

# 复制存储 ID 和密钥到指定文件位置

root@proxmox231:~# mkdir /etc/pve/priv/ceph
root@proxmox231:~# cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph.keyring
root@proxmox231:~# cp /etc/pve/priv/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph1.keyring

root@proxmox231:~# ceph osd pool application enable pvepool rbd
enabled application 'rbd' on pool 'pvepool'

# 查看集群状态

root@proxmox231:~# ceph -s
  cluster:
    id:     2cd9afcd-fd20-4e52-966b-3252c6444e6c
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum proxmox231,proxmox232,proxmox233
    mgr: proxmox231(active), standbys: proxmox232, proxmox233
    osd: 3 osds: 3 up, 3 in

# 添加 RBD 集群存储

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

ID：填写为 ceph 必填，不能定义

资源池：pvepool 可选（默认为 rbd）

Monitor：192.168.5.231 192.168.5.232 192.168.5.233（注意添加多个 Mon 以空格隔开）

添加节点：proxmox231,proxmox232,proxmox233

# 查看 rbd 集群存储配置信息

root@proxmox231:~# cat /etc/pve/storage.cfg 
dir: local
        path /var/lib/vz
        content vztmpl,iso,backup
lvmthin: local-lvm
        thinpool data
        vgname pve
        content images,rootdir
rbd: ceph
        content images,rootdir
        krbd 0
        nodes proxmox233,proxmox231,proxmox232
        pool pvepool

# 上传 ISO 镜像，通过 sftp 上传到以下目录 /var/lib/vz/template/iso，但这里上传的 iso 只能本机显示，如果要让集群中其它的主机也能共享 iso，那就要用到共享存储，刚好内网上有一台 NFS 服务器，exsi 存储用的，上面也有 ISO 镜像，正好可以共享，于是在数据中心上挂载这个 NFS 存储

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

# 新建虚拟机，使用 ceph 存储

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

# 虚拟机热迁移测试

刚刚在 proxmox231 上创建了一个 centos7 的虚拟机，存储用到了 ceph，所以先来进行热迁移测试，将 proxmox231 上的虚拟迁移到 proxmox233 上面

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

2018-09-29 15:50:16 starting migration of VM 100 to node ‘proxmox233’ (192.168.5.233)

2018-09-29 15:50:16 found local disk ‘local:iso/CentOS-7-x86_64-DVD-1804.iso’ (in current VM config)

2018-09-29 15:50:16 can’t migrate local disk ‘local:iso/CentOS-7-x86_64-DVD-1804.iso’: can’t live migrate attached local disks without with-local-disks option

2018-09-29 15:50:16 ERROR: Failed to sync data – can’t migrate VM – check log

2018-09-29 15:50:16 aborting phase 1 – cleanup resources

2018-09-29 15:50:16 ERROR: migration aborted (duration 00:00:01): Failed to sync data – can’t migrate VM – check log

TASK ERROR: migration aborted

# 在迁移的时候报错，那是因为在安装的时候挂载了本地的 ISO，所以在迁移之前先修改下虚拟的配置，CD/DVD 选择不使用任何介质

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

# 然后再来迁移

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

# 此时之前在 proxmox231 上面运行的虚拟已经迁移到 proxmox233 上面来了

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台

# 将虚拟机加入 HA，进行高可用测试

Proxmox VE 搭配 Ceph 存储组建高可用虚拟化平台