CentOS7环境下Ceph安装部署

共计 3765 个字符，预计需要花费 10 分钟才能阅读完成。

Ceph 简介

eph 的设计目标是是在廉价的存储介质上构建具有 high performance，high scalibility, high available，提供统一存储，分文件存储，块存储，对象存储。最近看了相关文档觉得挺有意思，而且它已经能为 openstack 提供块存储，非常贴合主流趋势。

Ceph 部署

1、主机准备

实验环境为 VMare 虚拟机机上进行实验，主要是为了对 Cph 有直观的认识。

第一步：准备 5 台主机

IP 地址                                  主机名（Hostname)

192.168.1.110              admin-node      (该主机用于管理，后续的 ceph-deploy 工具都在该主机上进行操作)

192.168.1.111              node1（监控节点）

192.168.1.112              node2（osd.0 节点）

192.168.1.113              node3（osd.1 节点）

192.168.1.114              client-node（客服端，主要利用它挂载 ceph 集群提供的存储进行测试）

第二步：修改 admin-node 节点 /etc/hosts 文件，增加一下内容

192.168.1.111              node1

192.168.1.112              node2

192.168.1.113              node3

192.168.1.114              client-node

说明：ceph-deploy 工具都是通过主机名与其他节点通信。修改主机名的命令为：hostnamectl set-hostname    “ 新的名字 ”

第三步：

分别为 5 台主机存储创建用户 ceph:(使用 root 权限，或者具有 root 权限)

创建用户

sudo adduser -d /home/ceph -m ceph

设置密码

sudo passwd ceph

设置账户权限

echo“ceph ALL =（root) NOPASSWD:ALL”| sudo tee /etc/sudoers.d/ceph

sudo chomod 0440 /etc/sudoers.d/ceph

执行命令 visudo 修改 suoders 文件：

把 Defaults    requiretty 这一行修改为修改  Defaults：ceph！requiretty

如果不进行修改 ceph-depoy 利用 ssh 执行命令将会出错

2、配置 admin-node 与其他节点 ssh 无密码 root 权限访问其它节点。

第一步：在 admin-node 主机上执行命令：

ssh-keygen

说明：（为了简单点命令执行时直接确定即可）

第二步：将第一步的 key 复制至其他节点

ssh-copy-id    ceph@node1

ssh-copy-id    ceph@node2

ssh-copy-id    ceph@node3

ssh-copy-id    ceph@client-node

同时修改~/.ssh/config 文件增加一下内容：

Host    node1

Hostname  192.168.1.111

User              ceph

Host    node2

Hostname  192.168.1.112

User              ceph

Host    node3

Hostname  192.168.1.113

User              ceph

Host    client-node

Hostname  192.168.1.114

User              ceph

3、为 admin-node 节点安装 ceph-deploy

第一步：增加 yum 配置文件

sudo vim /etc/yum.repos.d/ceph.repo

添加以下内容：

[ceph-noarch]

 name=Ceph noarch packages

 baseurl=http://ceph.com/rpm-firefly/el7/noarch

 enabled=1

 gpgcheck=1

 type=rpm-md

 gpgkey=https://ceph.com/git/?p=ceph.git;a=blob_plain;f=keys/release.asc

第二步：更新软件源并按照 ceph-deploy，时间同步软件

sudo yum update && sudo yum install ceph-deploy

sudo yum install ntp ntpupdate ntp-doc

4、关闭所有节点的防火墙以及安全选项 (在所有节点上执行）以及其他一些步骤

sudo systemctl  stop firewall.service

sudo  setenforce  0

sudo yum install yum-plugin-priorities

总结：经过以上步骤前提条件都准备好了接下来真正部署 ceph 了。

5、以前面创建的 ceph 用户在 admin-node 节点上创建目录

mkdir  my-cluster

cd my-cluster

6、创建集群

节点关系示意图：node1 作为监控节点，node2，node3 作为 osd 节点，admin-node 作为管理节点，其关系如下图所示：

第一步：执行以下命令创建以 node1 为监控节点的集群。

ceph-deploy  new  node1

执行该命令后将在当前目录生产 ceph.conf 文件，打开文件并增加一下内容：

osd pool default size = 2

第二步：利用 ceph-deploy 为节点安装 ceph

ceph  install admin-node  node1 node2 node3

第三步：初始化监控节点并收集 keyring：

ceph-deploy mon create-initial

6、为存储节点 osd 进程分配磁盘空间：

ssh node2

sudo mkdir  /var/local/osd0

exit

ssh node3

sudo mkdir  /var/local/osd1

exit

接下来通过 admin-node 节点的 ceph-deploy 开启其他节点 osd 进程，并激活。

ceph-deploy  osd prepare node2：/var/local/osd0  node3:/var/local/osd1

ceph-deploy osd active  node2：/var/local/osd0  node3:/var/local/osd1

把 admin-node 节点的配置文件与 keyring 同步至其它节点：

ceph-deploy admin admin-node node1 node2 node3

sudo chmod +r /etc/ceph/ceph.client.admin.keyring

最后通过命令查看集群健康状态：

ceph health

如果成功将提示：HEALTH_OK

Ceph 存储空间使用：

1、准备 client-node

通过 admin-node 节点执行命令：

ceph-deploy  install  client-node

ceph-deploy admin  client-node

2、创建块设备映像：

rbd create foo –size 4096

将 ceph 提供的块设备映射到 client-node

sudo rbd map foo –pool rbd –name client.admin

3、创建文件系统

sudo  mkfs.ext4 -m0  /dev/rbd/foo

4、挂载文件系统

sudo mkdir /mnt/test

sudo mount /dev/rbd/foo /mnt/test

cd /mnt/test

Finished！！！！！！！！！！！！

在 CentOS 7.1 上安装分布式存储系统 Ceph  http://www.linuxidc.com/Linux/2015-08/120990.htm

Ceph 环境配置文档 PDF http://www.linuxidc.com/Linux/2013-05/85212.htm 

CentOS 6.3 上部署 Ceph http://www.linuxidc.com/Linux/2013-05/85213.htm 

Ceph 的安装过程 http://www.linuxidc.com/Linux/2013-05/85210.htm 

HOWTO Install Ceph On FC12, FC 上安装 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-05/85209.htm 

Ceph 文件系统安装 http://www.linuxidc.com/Linux/2013-05/85208.htm 

CentOS 6.2 64 位上安装 Ceph 0.47.2 http://www.linuxidc.com/Linux/2013-05/85206.htm 

Ubuntu 12.04 Ceph 分布式文件系统 http://www.linuxidc.com/Linux/2013-04/82588.htm 

Fedora 14 上安装 Ceph 0.24 http://www.linuxidc.com/Linux/2011-01/31580.htm 

Ceph 的详细介绍 ：请点这里
Ceph 的下载地址 ：请点这里

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2015-11/125402.htm