Ceph存储-CentOS7
目录
6、 在 admin 管理节点配置 ssh 免密登录所有节点
1、为所有节点都创建一个 Ceph 工作目录，后续的工作都在该目录下进行
2、admin服务器安装 安装 ceph-deploy 部署工具
基于 ceph-deploy 部署 Ceph 集群
1、Ceph 生产环境推荐
1、存储集群全采用万兆网络
2、集群网络（cluster-network，用于集群内部通讯）与公共网络（public-network，用于外部访问Ceph集群）分离
3、mon、mds 与 osd 分离部署在不同主机上（测试环境中可以让一台主机节点运行多个组件）
4、OSD 使用 SATA 亦可
5、根据容量规划集群
6、至强E5 2620 V3或以上 CPU，64GB或更高内存
7、集群主机分散部署，避免机柜的电源或者网络故障
2、环境准备
Ceph 环境规划（测试环境不需要Cluster网络）
| 主机名 | Public网络 | Cluster网络 | 角色 |
|---|---|---|---|
| admin | 192.168.158.25 | admin（管理节点负责集群整体部署）、client | |
| node01 | 192.168.158.26 | 192.168.100.111 | mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd） |
| node02 | 192.168.158.27 | 192.168.100.112 | mon、mgr、osd（/dev/sdb、/dev/sdc、/dev/sdd） |
| node03 | 192.168.158.28 | 192.168.100.113 | mon、osd（/dev/sdb、/dev/sdc、/dev/sdd） |
| client | 192.168.158.29 | client |
#环境准备
#添加主机网卡，配置为集群地址
#可选步骤：创建 Ceph 的管理用户
useradd cephadm
passwd cephadm
visudo
cephadm ALL=(root) NOPASSWD:ALL3、关闭 selinux 与防火墙
systemctl disable --now firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config
systemctl disable --now NetworkManager4、 根据规划设置主机名
hostnamectl set-hostname admin
bash
hostnamectl set-hostname node01
bash
hostnamectl set-hostname node02
bash
hostnamectl set-hostname node03
bash
hostnamectl set-hostname client
bash 5、 配置 hosts 解析
cat > /etc/hosts << EOF
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.158.25 admin
192.168.158.26 node01
192.168.158.27 node02
192.168.158.28 node03
192.168.158.29 client
EOF
###验证
[root@admin ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.158.25 admin
192.168.158.26node01
192.168.158.27 node02
192.168.158.28node03
192.168.158.29 client6、 在 admin 管理节点配置 ssh 免密登录所有节点
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id root@admin
ssh-copy-id root@node01
ssh-copy-id root@node02
ssh-copy-id root@node037、配置时间同步及阿里云源
rm -rf /etc/yum.repos.d/*
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
ntpdate ntp.aliyun.com8、配置 Ceph yum源
wget https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm --no-check-certificate
rpm -ivh ceph-release-1-1.el7.noarch.rpm --force9、安装软件包及依赖
yum -y install epel-release
yum -y install yum-plugin-priorities yum-utils ntpdate python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git bind-utils tmux elinks numactl iftop bwm-ng net-tools expect snappy leveldb gdisk python-argparse gperftools-libs conntrack ipset jq libseccomp socat chrony sshpass10、热扫描磁盘信息
#添加完磁盘可以通过重启或以下命令刷新
[root@localhost ~]# cd /sys/class/scsi_host/
[root@localhost scsi_host]# for i in `ls ./`;do echo "- - -" > ./$i/scan;done
cd /sys/class/scsi_host/
for i in `ls ./`;do echo "- - -" > ./$i/scan;done
###验证
[root@node02 scsi_host]# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 120G 0 disk
├─sda1 8:1 0 1G 0 part /boot
└─sda2 8:2 0 119G 0 part
├─centos-root 253:0 0 50G 0 lvm /
├─centos-swap 253:1 0 2G 0 lvm [SWAP]
└─centos-home 253:2 0 67G 0 lvm /home
sdb 8:16 0 20G 0 disk
sdc 8:32 0 20G 0 disk
sdd 8:48 0 20G 0 disk
sr0 11:0 1 1024M 0 rom 11、node节点添加集群通信网卡
ifconfig ens34 192.168.100.111/24
ifconfig ens34 192.168.100.112/24
ifconfig ens34 192.168.100.113/24四、部署 Ceph 集群(amdin)
1、为所有节点都创建一个 Ceph 工作目录，后续的工作都在该目录下进行
mkdir -p /etc/ceph2、admin服务器安装 安装 ceph-deploy 部署工具
mkdir -p /etc/ceph
cd /etc/ceph
yum install -y ceph-deploy3、在管理节点为其它节点安装 Ceph 软件包
#ceph-deploy 2.0.1 默认部署的是 mimic 版的 Ceph，若想安装其他版本的 Ceph，可以用 --release 手动指定版本
cd /etc/ceph
ceph-deploy install --release nautilus node0{1..3} admin
##卸载ceph集群，卸载Ceph集群后会将ceph的yum源进行自动备份，需要收到再次安装ceph源
ceph-deploy uninstall node0{1..3} admin
##命令解析，以下四条命令不需要执行
#ceph-deploy install 本质就是在执行下面的命令：
yum clean all
yum -y install epel-release
yum -y install yum-plugin-priorities
yum -y install ceph-release ceph ceph-radosgw
#也可采用手动安装 Ceph 包方式，在其它节点上执行下面的命令将 Ceph 的安装包都部署上：
sed -i 's#download.ceph.com#mirrors.tuna.tsinghua.edu.cn/ceph#' /etc/yum.repos.d/ceph.repo
yum install -y ceph-mon ceph-radosgw ceph-mds ceph-mgr ceph-osd ceph-common ceph4、生成初始配置
#在管理节点运行下述命令，告诉 ceph-deploy 哪些是 mon 监控节点
cd /etc/ceph
ceph-deploy new --public-network 192.168.158.0/24 --cluster-network 192.168.100.0/24 node01 node02 node03
##验证
[root@admin ceph]# ls
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring rbdmap
#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.conf #ceph的配置文件
ceph-deploy-ceph.log #monitor的日志
ceph.mon.keyring #monitor的密钥环文件5、在管理节点初始化 mon 节点
cd /etc/ceph
ceph-deploy mon create node01 node02 node03 #创建 mon 节点，由于 monitor 使用 Paxos 算法，其高可用集群节点数量要求为大于等于 3 的奇数台
##部署mgr
ceph-deploy mgr create node{01..03}
#节点配置如果和管理配置文件不一致，强行同步配置
ceph-deploy --overwrite-conf mon create-initial #配置初始化 mon 节点，并向所有节点同步配置
# --overwrite-conf 参数用于表示强制覆盖配置文件
ceph-deploy gatherkeys node01 #可选操作，向 node01 节点收集所有密钥
#命令执行成功后会在 /etc/ceph 下生成配置文件
ls /etc/ceph
ceph.bootstrap-mds.keyring #引导启动 mds 的密钥文件
ceph.bootstrap-mgr.keyring #引导启动 mgr 的密钥文件
ceph.bootstrap-osd.keyring #引导启动 osd 的密钥文件
ceph.bootstrap-rgw.keyring #引导启动 rgw 的密钥文件
ceph.client.admin.keyring #ceph客户端和管理端通信的认证密钥，拥有ceph集群的所有权限
ceph.conf
ceph-deploy-ceph.log
ceph.mon.keyring
#在 mon 节点上查看自动开启的 mon 进程
ps aux | grep ceph
root 1823 0.0 0.2 189264 9216 ? Ss 19:46 0:00 /usr/bin/python2.7 /usr/bin/ceph-crash
ceph 3228 0.0 0.8 501244 33420 ? Ssl 21:08 0:00 /usr/bin/ceph-mon -f --cluster ceph --id node03 --setuser ceph --setgroupceph
root 3578 0.0 0.0 112824 988 pts/1 R+ 21:24 0:00 grep --color=auto ceph
#在管理节点查看 Ceph 集群状态
cd /etc/ceph
ceph -s
cluster:
id: 7e9848bb-909c-43fa-b36c-5805ffbbeb39
health: HEALTH_WARN
mons are allowing insecure global_id reclaim
services:
mon: 3 daemons, quorum node01,node02,node03
mgr: no daemons active
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
#查看 mon 集群选举的情况
ceph quorum_status --format json-pretty | grep leader
"quorum_leader_name": "node01",
#扩容 mon 节点
ceph-deploy mon add <节点名称>6、部署能够管理 Ceph 集群的节点（可选）
#可实现在各个节点执行 ceph 命令管理集群
cd /etc/ceph
ceph-deploy --overwrite-conf config push node01 node02 node03 #向所有 mon 节点同步配置，确保所有 mon 节点上的 ceph.conf 内容必须一致
ceph-deploy admin node01 node02 node03 #本质就是把 ceph.client.admin.keyring 集群认证文件拷贝到各个节点
#在 mon 节点上查看
ls /etc/ceph
ceph.client.admin.keyring ceph.conf rbdmap tmpr8tzyc
cd /etc/ceph
ceph -s 7、部署 osd 存储节点，管理节点操作
#主机添加完硬盘后不要分区，直接使用
lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 60G 0 disk
├─sda1 8:1 0 500M 0 part /boot
├─sda2 8:2 0 4G 0 part [SWAP]
└─sda3 8:3 0 55.5G 0 part /
sdb 8:16 0 20G 0 disk
sdc 8:32 0 20G 0 disk
sdd 8:48 0 20G 0 disk
#如果是利旧的硬盘，则需要先擦净（删除分区表）磁盘（可选，无数据的新硬盘可不做）
cd /etc/ceph
ceph-deploy disk zap node01 /dev/sdb
ceph-deploy disk zap node02 /dev/sdb
ceph-deploy disk zap node03 /dev/sdb
#添加 osd 节点
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
###
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
###
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdb
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd
#查看 ceph 集群状态
ceph -s
cluster:
id: 7e9848bb-909c-43fa-b36c-5805ffbbeb39
health: HEALTH_WARN
no avtive mgr
services:
mon: 3 daemons, quorum node01,node02,node03 (age 119m)
mgr: no daemons active
osd: 3 osds: 3 up (since 35s), 3 in (since 35s)
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 3.0 GiB used, 57 GiB / 60 GiB avail
pgs:
ceph osd stat
ceph osd tree
rados df
#节点查询状态
ssh root@node01 systemctl status ceph-osd@0
ssh root@node02 systemctl status ceph-osd@1
ssh root@node03 systemctl status ceph-osd@2
ceph osd status #查看 osd 状态，需部署 mgr 后才能执行
+----+--------+-------+-------+--------+---------+--------+---------+-----------+
| id | host | used | avail | wr ops | wr data | rd ops | rd data | state |
+----+--------+-------+-------+--------+---------+--------+---------+-----------+
| 0 | node01 | 1025M | 18.9G | 0 | 0 | 0 | 0 | exists,up |
| 1 | node02 | 1025M | 18.9G | 0 | 0 | 0 | 0 | exists,up |
| 2 | node03 | 1025M | 18.9G | 0 | 0 | 0 | 0 | exists,up |
+----+--------+-------+-------+--------+---------+--------+---------+-----------+
ceph osd df #查看 osd 容量，需部署 mgr 后才能执行
ID CLASS WEIGHT REWEIGHT SIZE RAW USE DATA OMAP META AVAIL %USE VAR PGS STATUS
0 hdd 0.01949 1.00000 20 GiB 1.0 GiB 1.8 MiB 0 B 1 GiB 19 GiB 5.01 1.00 0 up
1 hdd 0.01949 1.00000 20 GiB 1.0 GiB 1.8 MiB 0 B 1 GiB 19 GiB 5.01 1.00 0 up
2 hdd 0.01949 1.00000 20 GiB 1.0 GiB 1.8 MiB 0 B 1 GiB 19 GiB 5.01 1.00 0 up
TOTAL 60 GiB 3.0 GiB 5.2 MiB 0 B 3 GiB 57 GiB 5.01
MIN/MAX VAR: 1.00/1.00 STDDEV: 0
#扩容 osd 节点
cd /etc/ceph
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdc
ceph-deploy --overwrite-conf osd create node01 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node02 --data /dev/sdd
ceph-deploy --overwrite-conf osd create node03 --data /dev/sdd
#添加 OSD 中会涉及到 PG 的迁移，由于此时集群并没有数据，因此 health 的状态很快就变成 OK，如果在生产环境中添加节点则会涉及到大量的数据的迁移。8、部署 mgr 节点
#ceph-mgr守护进程以Active/Standby模式运行，可确保在Active节点或其ceph-mgr守护进程故障时，其中的一个Standby实例可以在不中断服务的情况下接管其任务。根据官方的架构原则，mgr至少要有两个节点来进行工作。
cd /etc/ceph
ceph-deploy mgr create node01 node02
ceph -s
cluster:
id: 7e9848bb-909c-43fa-b36c-5805ffbbeb39
health: HEALTH_WARN
mons are allowing insecure global_id reclaim
services:
mon: 3 daemons, quorum node01,node02,node03
mgr: node01(active, since 10s), standbys: node02
osd: 0 osds: 0 up, 0 in
#解决 HEALTH_WARN 问题：mons are allowing insecure global_id reclaim问题：
禁用不安全模式：ceph config set mon auth_allow_insecure_global_id_reclaim false
#扩容 mgr 节点
ceph-deploy mgr create <节点名称>9、开启监控模块
#在 ceph-mgr Active节点执行命令开启
[root@admin ceph]# ceph -s | grep mgr
mgr: node01(active, since 6m), standbys: node02, node03
#############主节点下载安装##############################
yum install -y ceph-mgr-dashboard
##在admin节点操作
cd /etc/ceph
[root@admin ceph]# ceph mgr module ls | grep dashboard
ceph mgr module ls | grep dashboard
#开启 dashboard 模块
ceph mgr module enable dashboard --force
#禁用 dashboard 的 ssl 功能
ceph config set mgr mgr/dashboard/ssl false
#配置 dashboard 监听的地址和端口
ceph config set mgr mgr/dashboard/server_addr 0.0.0.0
ceph config set mgr mgr/dashboard/server_port 8000
#重启 dashboard
ceph mgr module disable dashboard
ceph mgr module enable dashboard --force
#确认访问 dashboard 的 url
ceph mgr services
{
"dashboard": "http://node01:8000/"
}
#设置 dashboard 账户以及密码
echo "123.com" > dashboard_passwd.txt
ceph dashboard set-login-credentials admin -i dashboard_passwd.txt
#或
ceph dashboard ac-user-create admin administrator -i dashboard_passwd.txt #用这个命令
#浏览器访问：http://192.168.80.11:8000 ，账号密码为 admin/123.com
假如显示有osd down， 这是只需要重新配置一下时间同步，然后重启一下就好了
ntpdate ntp.aliyun.com
systemctl restart ceph-mon.target五、资源池 Pool 管理
1、向 Ceph 中存储数据
首先我们需要在 Ceph 中定义一个 Pool 资源池。Pool 是 Ceph 中存储 Object 对象抽象概念。
我们可以将其理解为 Ceph 存储上划分的逻辑分区，Pool 由多个 PG 组成；而 PG 通过 CRUSH 算法映射到不同的 OSD 上；
同时 Pool 可以设置副本 size 大小，默认副本数量为 3。
Ceph 客户端向 monitor 请求集群的状态，并向 Pool 中写入数据，数据根据 PGs 的数量，
通过 CRUSH 算法将其映射到不同的 OSD 节点上，实现数据的存储。 这里我们可以把 Pool 理解为存储 Object 数据的逻辑单元；
当然，当前集群没有资源池，因此需要进行定义。
2、创建 Pool 资源池--（增、查）
#创建一个 Pool 资源池，其名字为 mypool，PGs 数量设置为 64，设置 PGs 的同时还需要设置 PGP（通常PGs和PGP的值是相同的）：
#PG (Placement Group)，pg 是一个虚拟的概念，用于存放 object，PGP(Placement Group for Placement purpose)，相当于是 pg 存放的一种 osd 排列组合
cd /etc/ceph
ceph osd pool create mypool 64 64
#查看集群 Pool 信息
ceph osd pool ls 或 rados lspools
ceph osd lspools
#查看资源池副本的数量
ceph osd pool get mypool size
[root@admin ceph]# ceph osd pool get mypool size
size: 3
#查看 PG 和 PGP 数量
ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num 
3、 修改资源池信息--（修）
#修改 pg_num 和 pgp_num 的数量为 128
ceph osd pool set mypool pg_num 128
ceph osd pool set mypool pgp_num 128
ceph osd pool get mypool pg_num
ceph osd pool get mypool pgp_num
#修改 Pool 副本数量为 2
ceph osd pool set mypool size 2
ceph osd pool get mypool size
#管理节点
#修改默认副本数为 2
vim ceph.conf
......
osd_pool_default_size = 2
ceph-deploy --overwrite-conf config push node01 node02 node034、删除 Pool 资源池--（删）
#1）删除存储池命令存在数据丢失的风险，Ceph 默认禁止此类操作，需要管理员先在 ceph.conf 配置文件中开启支持删除存储池的操作
vim ceph.conf
......
[mon]
mon allow pool delete = true
#2）推送 ceph.conf 配置文件给所有 mon 节点
ceph-deploy --overwrite-conf config push node01 node02 node03
#3）所有 mon 节点重启 ceph-mon 服务
systemctl restart ceph-mon.target
#4）执行删除 Pool 命令
ceph osd pool rm pool01 pool01 --yes-i-really-really-mean-it5、创建文件系统
ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 64
ceph fs new fs_test cephfs_metadata cephfs_data
ceph fs ls
ceph mds stat六、部署RGW和MDS
ceph-deploy rgw create node0{1..3}
ceph-deploy mds create node0{1..3}七、客户端使用Ceph
##admin节点操作，安装客户端工具
ceph-deploy install client
##admin节点操作，同步管理信息
ceph-deploy admin client
#验证
[root@client ceph]# ls
ceph.client.admin.keyring ceph.conf rbdmap tmpup4t2z
##在client节点操作，安装客户端工具
yum install -y ceph-fuse
##创建挂载目录
mkdir /ceph
##挂载ceph
[root@node01 ceph]# netstat -anptu | grep 6789
tcp 0 0 192.168.166.12:6789 0.0.0.0:* LISTEN 71369/ceph-mon
####
ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.166.12:6789 /ceph