CentOS 7下快速部署 Ceph分布式存储架构

共计 5592 个字符，预计需要花费 14 分钟才能阅读完成。

随着 OpenStack 日渐成为开源云计算的标准软件栈，Ceph 也已经成为 OpenStack 的首选后端存储。相关介绍网上有很多，这里就不做过多介绍了，自己尝试在自己的测试机搭建了一下。

Ceph 的架构

Ceph 是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架 openstack 或 cloudstack 整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN 存储、NAS 存储等。

支持接口
1、对象存储：即 radosgw, 兼容 S3 接口。通过 rest api 上传、下载文件。

2、文件系统：posix 接口。可以将 ceph 集群看做一个共享文件系统挂载到本地。

3、块存储：即 rbd。有 kernel rbd 和 librbd 两种使用方式。支持快照、克隆。相当于一块硬盘挂到本地，用法和用途和硬盘一样。

Ceph 相比其它分布式存储有哪些优点？

1、统一存储
 虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。

2、高扩展性
 扩容方便、容量大。能够管理上千台服务器、EB 级的容量。

3、可靠性强
 支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障，容错性强。

4、高性能
  因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS 和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。在块存储和对象存储中无需元数据服务器。

集群部署

主机准备

IP 地址      主机名
172.16.10.167  admin-node  #管理端，后续的 ceph-deploy 工具都在该主机上进行操作，并且也充当监控和 osd.0 节点
172.16.10.162  node1    #监控和 osd.1 节点
172.16.10.142  node2    #监控和 osd.2 节点
每台主机三块盘，sda 系统盘、sdb 存储盘（osd）、sdc 日志盘（journal），日志盘最好选用 ssd

修改 admin-node 的 /etc/hosts 文件

172.16.10.162    node1
172.16.10.142    node2

配置 admin-node 与其它节点的 ssh 无密码 root 权限访问，为了方便使用的是 root 用户，为了安全应该创建一个普通用户

# ssh-keygen
# cat /root/.ssh/id_rsa.pub

修改每个节点的 hostname

# hostnamectl set-hostname “ 新的名字 ”

每个 osd 节点开放防火墙

-A INPUT -p tcp -m state –state NEW -m tcp –dport 6789:7100 -j ACCEPT

配置 ceph 的 yum 源, 安装 ceph-deploy 工具

此处的源太慢，在我安装的时候总是失败

国内的一些 Ceph 源：Ceph 国内源

# yum install –nogpgcheck -y epel-release
# rpm –import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
# vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
 
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-jewel/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1
 
[ceph-source]
name=Ceph source packages
baseurl=http://download.ceph.com/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

安装 ceph-deploy 工具

# yum update -y
# yum install ceph-deploy -y
# yuminstall ntp ntpdate ntp-doc openssh-server yum-plugin-priorities -y

创建管理目录

# mkdir my-cluster
# cd my-cluster

创建监控节点，这里可以同时创建多个节点，为了测试后期增加 mon 节点，这里就只添加一个

# ceph-deploy new node1

修改配置文件，执行上述命令之后，会在当前目录产生 ceph.conf 文件，打开文件增加配置

osd pool default size = 3  #创建 3 个副本
public_network = 172.16.10.0/24  #公用网络
cluster_network = 172.16.10.0/24  #集群网络

使用 ceph-deploy 为节点安装 ceph，这一步在我安装时经常出问题，出现执行 ceph –version 命令失败，还有一些其它错误，然后各种在网上查资料，最后自己无意中发现，再次执行命令，或者在失败节点把 ceph 和 ceph-release 卸载，然后单个节点再次安装，重复操作，就可以安装成功，究其原因，还是因为 ceph 源在国外。然后找了一下国内的 ceph 源，在 ceph 中国社区找到了一篇文档，在开头已有介绍。

# ceph-deploy install admin-node node1 node2

初始化监控节点并收集 keyring，如果是双网卡，需要修改配置文件 ceph.conf 将 mon 的内网地址改为公网地址，执行时需要在 ceph-deploy 后加 –overwrite-conf

# ceph-deploy mon create-initial

把 admin-node 节点的配置文件与 keyring 同步至其它节点

# ceph-deploy admin admin-node node1 node2
# chmod +r /etc/ceph/ceph.client.admin.keyring  #如果是 root 用户，这步不需要

初始化各节点的 osd 分区

# ceph-deploy disk zap admin-node:/dev/sdb node1:/dev/sdb node2:/dev/sdb

挂载日志盘

# ceph-deploy osd prepare admin-node:sdb:/dev/sdc node1:sdb:/dev/sdc node2:sdb:/dev/sdc

查看挂载情况

# ceph-deploy disk list node1

现在初步集群搭建完成

查看 ceph 集群健康状态

# ceph health

如果成功将提示：HEALTH_OK

增加监控节点

打开 ceph.conf 文件，增加 mon 配置，新增 admin-node 和 node2 节点为 mon 节点

# cd my-cluster && vim ceph.conf
mon_initial_members = node1,admin-node,node2
mon_host= 172.16.10.162,172.16.10.167,172.16.10.142

将配置文件同步至所有节点

# ceph-deploy –overwrite-conf admin admin-node node1 node2

查看配置是否生效

# ceph –show-config |grep mon_initial_members

创建新的 mon

# ceph-deploy mon create admin-node
# ceph-deploymon create node2

查看 mon 状态

# ceph mon stat

查看整个集群状态，验证是否成功

# ceph -s

不出意外，现在应该是显示集群成功的，也可能会有时间不同步或者 pg 问题，在网上都有解决方法，个人测试了几遍都可以成功安装。

启动命令

启动或停止一个节点的所有 osd 或者 mon

# systemctl start ceph-osd.target
# systemctl start ceph-mon.target

启动单个 osd 或者 mon

# systemctl start ceph-osd@0
# systemctl start ceph-mon@node1

添加开机启动

# systemctl enable ceph-mon.target
# systemctl enable ceph-osd.target

检测是否加入开机启动

# systemctl is-enabled ceph-osd.target
# systemctlis-enabled ceph-mon.target

验证

使用块存储验证集群存储是否可用

再找一台机器做为：client-node，并且需要执行上面的基础流程

在 admin-node 上面

# cd my-cluster
# ceph-deploy install  client-node
# ceph-deployadmin client-node

在 client-node 创建块设备映像

# rbd create test –size 4096 –image-format 2 –image-feature  layering

查看创建的映像

# rbd ls

将 ceph 提供的块设备映射到 client-node

# rbd map test –pool rbd –name client.admin

创建文件系统

# mkfs.xfs  /dev/rbd/rbd/test

挂载文件系统

# mkdir /test
# mount /dev/rbd/rbd/test /test

使用 dd 测试

# cd /test
# dd if=/dev/zero of=ceshi bs=1M count=10

在随便一台 osd 节点上，查看是否有数据写入

# ceph -w

监控

在监控方面，calamari 在安装起来比较复杂，没有仔细研究，在网上看到可以使用 zabbix 对 ceph 进行监控，然后看了一下。

监控流程

在 ceph 的一台 monitor 上，比如：admin-node

# yum install -y git
# git clone https://github.com/BodihTao/ceph-zabbix.git
# cd ceph-zabbix
# cp ceph-status.sh /usr/local/zabbix/etc/
# ln -s /usr/local/zabbix/bin/* /usr/bin/
# vim ceph_cron.txt  或者直接 crontab - e 编辑
* * * * * /usr/local/zabbix/etc/ceph-status.sh zabbixIP“zabbix 中定义的主机名”
例如：
* * * * * /usr/local/zabbix/etc/ceph-status.sh 172.16.10.102 “Ceph-172.16.10.167”
# crontab ceph_cron.txt
# crontab -l
# vim/usr/local/zabbix/etc/zabbix_agentd.conf
Hostname=Ceph-172.16.10.167
# pkill -9 zabbix_agentd
# /usr/local/zabbix/sbin/zabbix_agentd

然后在 zabbix 上面导入 ceph-zabbix/zabbix_templates 中的模板，修改导入的模板 – 项目中的类型为 zabbix trapper（zabbix 捉捕器），然后添加主机，使用导入的模板。

注：如果还需要使用其它模板，比如：Template OS Linux，如果项目中提示不支持，则需要修改类型为 zabbix trapper（zabbix 捉捕器），如果修改，需要做一个克隆，以免影响其它模板使用者。

在 CentOS 7.1 上安装分布式存储系统 Ceph  http://www.linuxidc.com/Linux/2015-08/120990.htm

Ceph 环境配置文档 PDF http://www.linuxidc.com/Linux/2013-05/85212.htm 

CentOS 6.3 上部署 Ceph http://www.linuxidc.com/Linux/2013-05/85213.htm 

Ceph 的安装过程 http://www.linuxidc.com/Linux/2013-05/85210.htm 

HOWTO Install Ceph On FC12, FC 上安装 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-05/85209.htm 

实验环境 Ceph 9.2.1 部署笔记 http://www.linuxidc.com/Linux/2016-11/137094.htm

Ubuntu 12.04 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-04/82588.htm 

Ubuntu 16.04 快速安装 Ceph 集群  http://www.linuxidc.com/Linux/2016-09/135261.htm

Ceph 的详细介绍：请点这里
Ceph 的下载地址：请点这里

本文永久更新链接地址：http://www.linuxidc.com/Linux/2017-02/140630.htm