Ceph集群部署步骤

博文参考：https://baijiahao.baidu.com/s?id=1739195406542186137&wfr=spider&for=pc

零、centos7配置中文语言环境

1.查看系统是否安装了中文安装包

locale -a |grep "zh_CN"

没有输出，说明没有安装，输入下面的命令安装:

yum groupinstall "fonts" -y

2.系统切换为中文

vi /etc/locale.conf
LANG="zh_CN.UTF-8"

一、安装Ceph

1.每个服务器都建立ceph镜像源文件

vi /etc/yum.repos.d/ceph.repo
文件里复制粘贴“Ceph的yum源修改.txt”内容

2.作为monitor的服务器做操作，ceph 与 ceph-deploy安装

更新yum源，安装ceph和ceph-deploy。执行：

yum update && yum -y install ceph ceph-deploy

3.其它(非monitor)服务器做操作，ceph 安装

更新yum源，安装ceph和ceph-deploy。执行：

yum update && yum -y install ceph

4.遇到异常时解决

4.1.安装过程中，如果 ceph-deploy 出现ImportError:No module named pkg_resources.

则需要安装python2-pip,执行：
yum -y install python2-pip

4.2.安装过程中，如果 ceph-deploy 出现Error📦2: … 之类的，执行：

yum install epel-release -y
wget http://dl.fedoraproject.org/pub/epel/7/x86_64/packages/e/epel-release-7-11.noarch.rpm
rpm -Uvh epel-release*rpm
yum install lttng-ust -y

5.免密配置（每台服务器都执行）

5.1.创建用户及密码

useradd -d /home/cuser -m cuser
passwd cuser

输入两次cuser不理会长度限制提示

5.2.设置sudo权限（免密+只读权限）

echo "cuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cuser
sudo chmod 0440 /etc/sudoers.d/cuser

二、服务器各个节点配置

1.修改各个服务器名

vi /etc/hostname
例如修改为：
ceph-dev1

2.添加各个服务器之间的域名映射

vi /etc/hosts
例如追加：

192.168.3.132 ceph-dev1
192.168.3.129 ceph-dev2
192.168.3.131 ceph-dev3

三、系统设置（作为monitor的服务器做操作）

1.NTP时间同步工具

yum install ntp ntpdate ntp-doc -y
1.1.设为开机启动
systemctl enable ntpd
1.2.每隔一小时自动校准
编辑 vi /etc/rc.d/rc.local
追加：

/usr/sbin/nypdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

1.3.配置定时任务，执行：crontab -e
追加：

0 */1 * * * ntpdate ntp1.aliyun.com > /dev/null 2>&1; /sbin/hwclock -w

2.生成密钥

切换用户：su cuser
执行ssh-keygen
分发密钥到各个服务器节点上去

ssh-copy-id cuser@ceph-dev1
ssh-copy-id cuser@ceph-dev2
ssh-copy-id cuser@ceph-dev3

3.修改管理节点上的 ~/.ssh/config 文件， 简化 SSH 远程连接时的输入信息：

管理节点是会有 root 和 cuser 多个用户， ssh 远程连接默认会以当前用户身份进行登陆。
如果我们是 root 身份进行远程连接， 还是需要输入密码， 我们想简化， 该怎么处理？

3.1.切换 root 身份

su root

3.2.修改文件:

vi ~/.ssh/config
若没有该config文件，
则进入root目录建立该文件：
mkdir .ssh
vi config

3.3.追加：

Host ceph-dev1
   Hostname ceph-dev1
   User cuser
Host ceph-dev2
   Hostname ceph-dev2
   User cuser
Host ceph-dev3
   Hostname ceph-dev3
   User cuser

3.4.修改文件权限：

chmod 600 ~/.ssh/config

3.5.禁用SELINUX：

vi /etc/selinux/config
尾部追加：
SELINUX=disabled

四、集群搭建

1.创建集群管理目录，作为ceph配置信息存储目录

mkdir -p /usr/local/honeycat/cephcluster
cd /usr/local/honeycat/cephcluster

2.创建集群

ceph-deploy new ceph-dev1 ceph-dev2 ceph-dev3

2.1.修改配置文件

vi /usr/local/honeycat/cephcluster/ceph.conf
追加：

# 对外开放网段
public network = 192.168.88.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

2.2.执行安装

ceph-deploy install ceph-dev1 ceph-dev2 ceph-dev3

2.3.初始化 monitor 信息

ceph-deploy mon create-initial