1、搭建的要求
1、OSD约束
设备不得有分区，/dev/sdb1不会用这个盘的
不能是逻辑卷的成员盘，不能是逻辑卷的PV，曾经是可以的，但是新版本不行了
不能有文件系统(就是不能被格式化，ext4,xfs等)，不能被挂载
不能是其他ceph的osd,或者是本集群中已经移除的OSD的盘，重新加入集群，重新加入时，可以将数据擦除在加入集群，总而言之，就是磁盘必须是干净的
OSD的容量要大于5G
常见的硬件选型错误
不要使用旧的古老硬件
不要再同一个存储池中使用不同的硬件(OSD的磁盘类型和容量要一致，否则,容量大的硬盘，PG就会非常多)
使用1GB的网络而不是10GB的网络，建议OSD使用10GB网络，其他组件使用1GB网络
没有使用集群网络和公共网络而是复用这2个网络(生产环境中这2个网络是隔离的)
服务器不要使用raid来保护数据(如果操作系统不识别硬盘，可以做RAID0)，因为ceph本身已经具备数据冗余机制，如果还使用raid将会容量浪费
选中驱动器只考虑价格而没有考虑io性能
硬盘无需开启日志属性，因为ceph有日志功能
2、ceph部署方式
手动部署
ceph-deploy，早期部署方式
ceph-ansible rhcs3部署方式
cephadm podman部署
1、cephadm的部署原理
- cephadm 本身是一个基于python脚本,利用该脚本在单节点上部署是一个最小化ceph集群(monitor+mgr),然后利用mgr的orch编排
红帽版本搭建(RHCS5.0部署)
略
2、cephadm安装P版本
1、环境要求
三个节点，每个节点有一个系统盘，10G的硬盘三块作为osd的硬盘，每个节点配置2C4G,使用一张NAT网卡即可
centos8.4和rhel8.4和rockylinux8.4
2、配置主机名，关闭防火墙，时间同步
hostnamectl set-hostname node1.example.com
[root@node1 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.200.10 node1
192.168.200.11 node2
192.168.200.12 node3
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# systemctl disable firewalld.service
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
# 配置免密登录
[root@node1 ~]# ssh-keygen
[root@node1 ~]# ssh-copy-id root@node1
[root@node1 ~]# ssh-copy-id root@node2
[root@node1 ~]# ssh-copy-id root@node3
# 配置时间同步
[root@node1 ~]# vim /etc/chrony.conf
server ntp.aliyun.com iburst
# 重启即可
3、检查python环境和容器运行时环境
# 由于是最小化安装，没有装python3
# 配置阿里云8的源
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
yum -y install python36-3.6.8-38.module_el8.5.0+895+a459eca8.x86_64
[root@node1 ~]# python3 --version
Python 3.6.8
# 配置docker或者podman
# 以容器的方式启动服务
[root@node1 ~]# podman --version
podman version 3.3.1
4、部署引导节点(下载cephadm脚本)
可以随便找一台机器作为引导节点，然后扩展节点即可,就是加入节点即可
文档 https://docs.ceph.com/en/reef/
https://docs.ceph.com/en/pacific/cephadm/install/#cephadm-deploying-new-cluster
gitlab地址 https://github.com/ceph/ceph，选择版本，然后src/cephadm/下面有个cephadm.py文件即可
1、获取脚本
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/pacific/src/cephadm/cephadm
# 添加权限
chmod +x cephadm
# 可以查看版本号，非常的慢，因为拉取镜像，红帽仓库地址的镜像
[root@node1 opt]# ./cephadm version
ceph version 16.2.15 (618f440892089921c3e944a991122ddc44e60516) pacific (stable)
[root@node1 opt]# podman images
REPOSITORY TAG IMAGE ID CREATED SIZE
quay.io/ceph/ceph v16 3c4eff6082ae 6 months ago 1.22 GB
2、添加ceph仓库,安装cephadm命令，修改仓库镜像仓库地址，安装ceph客户端工具
[root@node1 opt]# ./cephadm add-repo --release 16.2.11
Writing repo to /etc/yum.repos.d/ceph.repo...
Enabling EPEL...
Completed adding repo.
[root@node1 opt]# ls /etc/yum.repos.d/
CentOS-Base.repo epel-modular.repo epel.repo epel-testing.repo
ceph.repo epel-playground.repo epel-testing-modular.repo
[root@node1 opt]#
# 如果要删除cephadm文件的话，就需要安装这个命令
[root@node1 opt]# ./cephadm install
Installing packages ['cephadm']...
[root@node1 opt]# which cephadm
/usr/sbin/cephadm
# 安装ceph客户端工具(下载非常的慢)
[root@node1 opt]# cephadm install ceph-common # 或者 yum -y install ceph-common
# 修改/usr/sbin/cephadm文件
DEFAULT_IMAGE = 'uhub.service.ucloud.cn/ceph260/ceph:v16'
DEFAULT_IMAGE_IS_MASTER = False
DEFAULT_IMAGE_RELEASE = 'pacific'
DEFAULT_PROMETHEUS_IMAGE = 'uhub.service.ucloud.cn/ceph260/prometheus:v2.33.4'
DEFAULT_NODE_EXPORTER_IMAGE = 'uhub.service.ucloud.cn/ceph260/node-exporter:v1.3.1'
DEFAULT_ALERT_MANAGER_IMAGE = 'uhub.service.ucloud.cn/ceph260/alertmanager:v0.23.0'
DEFAULT_GRAFANA_IMAGE = 'uhub.service.ucloud.cn/ceph260/ceph-grafana:8.3.5'
DEFAULT_HAPROXY_IMAGE = 'uhub.service.ucloud.cn/ceph260/haproxy:2.3'
DEFAULT_KEEPALIVED_IMAGE = 'uhub.service.ucloud.cn/ceph260/keepalived'
DEFAULT_SNMP_GATEWAY_IMAGE = 'uhub.service.ucloud.cn/ceph260/snmp-notifier:v1.2.1'
DEFAULT_REGISTRY = 'uhub.service.ucloud.cn' # normalize unqualified digests to this
3、cephadm初始化
# 这个命令的作用是通过 cephadm 工具引导（bootstrap）Ceph 集群的初始设置和部署
[root@node1 ~]# cephadm bootstrap --mon-ip 192.168.200.10 --initial-dashboard-user admin --initial-dashboard-password admin --allow-fqdn-hostname
# --mon-ip 指定第一个monitor节点ip地址,是ceph的核心组件，负责维护集群的状态和元数据
# --initial-dashboard-user admin 指定dashboard初始管理员用户
# --initial-dashboard-password admin 登录的凭证
# --allow-fqdn-hostname 允许使用FQDN作为的主机名，而不是短主机名，这个非常的有用，对于域名解析而不是ip地址管理节点时非常有用
# 因为osd数量
[root@node1 opt]# ceph -s
cluster:
id: 8eeb54b6-b24a-11ef-89b8-000c29679dd7
health: HEALTH_WARN # 因为OSD数量小于默认的数量3个，所以警告
OSD count 0 < osd_pool_default_size 3
services:
mon: 1 daemons, quorum node1.example.com (age 2m)
mgr: node1.example.com.yfrzbt(active, since 116s)
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
progress:
Updating alertmanager deployment (+1 -> 1) (0s)
[............................]
# 生成的ceph相关文件
# 生成了admin的密钥
[root@node1 ceph]# pwd
/etc/ceph
[root@node1 ceph]# ls
ceph.client.admin.keyring ceph.conf ceph.pub rbdmap
[root@node1 ceph]#
4、cephadm容器操作
[root@node1 opt]# cephadm shell
Inferring fsid 8eeb54b6-b24a-11ef-89b8-000c29679dd7
Using recent ceph image quay.io/ceph/ceph@sha256:f15b41add2c01a65229b0db515d2dd57925636ea39678ccc682a49e2e9713d98
[ceph: root@node1 /]# ceph -s
cluster:
id: 8eeb54b6-b24a-11ef-89b8-000c29679dd7
health: HEALTH_WARN
OSD count 0 < osd_pool_default_size 3
services:
mon: 1 daemons, quorum node1.example.com (age 11m)
mgr: node1.example.com.yfrzbt(active, since 11m)
osd: 0 osds: 0 up, 0 in
data:
pools: 0 pools, 0 pgs
objects: 0 objects, 0 B
usage: 0 B used, 0 B / 0 B avail
pgs:
progress:
Updating grafana deployment (+1 -> 1) (0s)
[............................]
5、添加主机
[root@node1 ~]# ceph orch host ls
HOST ADDR LABELS STATUS
node1.example.com 192.168.200.10 _admin
1 hosts in cluster
# 会报错，因为ceph需要免密，有ceph集群的公私钥进行免密，管理集群靠的就是这个公私钥
[root@node1 ~]# ceph orch host add node2.example.com
Error EINVAL: Cannot resolve ip for host node2.example.com: [Errno -2] Name or service not known
You may need to supply an address for node2.example.com
Please make sure that the host is reachable and accepts connections using the cephadm SSH key
To add the cephadm SSH key to the host:
> ceph cephadm get-pub-key > ~/ceph.pub
> ssh-copy-id -f -i ~/ceph.pub root@node2.example.com
To check that the host is reachable open a new shell with the --no-hosts flag:
> cephadm shell --no-hosts
Then run the following: # 获取到私钥，然后使用私钥进行登录(测试用的，测试上面公钥拷贝成功没有)
> ceph cephadm get-ssh-config > ssh_config
> ceph config-key get mgr/cephadm/ssh_identity_key > ~/cephadm_private_key
> chmod 0600 ~/cephadm_private_key
> ssh -F ssh_config -i ~/cephadm_private_key root@node2.example.com
# 公钥放在目录下
ceph cephadm get-pub-key > ~/ceph.pub
# 拷贝到其他节点
ssh-copy-id -f -i ~/ceph.pub root@node2.example.com
ssh-copy-id -f -i ~/ceph.pub root@node3.example.com
# 添加节点
ceph orch host add node2
ceph orch host add node3
[root@node1 ~]# ceph orch host ls
HOST ADDR LABELS STATUS
node1 192.168.200.10 _admin
node2 192.168.200.11
node3 192.168.200.12
3 hosts in cluster
# 查看节点组件信息
[root@node1 ~]# ceph orch ls
# 服务的名字 ip+端口 服务状态/数量 运行时间 部署方式
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 9m ago 11m count:1
crash 2/3 9m ago 11m *
grafana ?:3000 1/1 9m ago 11m count:1
mgr 2/2 9m ago 11m count:2
mon 2/5 9m ago 11m count:5
node-exporter ?:9100 2/3 9m ago 11m *
prometheus ?:9095 1/1 9m ago 11m count:1
# placement
# count=1，表示该服务组件只在某一个节点上进行部署
# * 表示在所有节点上面进行部署
# 主机名，仅在特定主机上进行部署
# 标签名，仅在标签上进行部署
# 随着时间的推移，mon的数量会增加，因为ceph的组件会自动部署在主机上面，ceph集群具有节点自扩展性
[root@node1 ~]# ceph orch ls
NAME PORTS RUNNING REFRESHED AGE PLACEMENT
alertmanager ?:9093,9094 1/1 2m ago 17m count:1
crash 3/3 2m ago 17m *
grafana ?:3000 1/1 2m ago 17m count:1
mgr 2/2 2m ago 17m count:2
mon 3/5 2m ago 17m count:5
node-exporter ?:9100 3/3 2m ago 17m *
prometheus ?:9095 1/1 2m ago 17m count:1
6、ceph orch操作
管理容器化服务的命令
ceph orch 是 Ceph 集群的 Orchestrator 工具，主要用于管理和监控通过容器化方式部署的 Ceph 服务
ceph orch apply mon --unmanaged
# 设置节点为2个
ceph orch apply mon --placement=2
1、根据服务类型进行编排
# 根据数量进行编排，也就是部署在哪个节点
ceph orch apply mon --placement=3
# 指定调度在node2,node3节点上面
ceph orch apply mon --placement=node2,node3
# 可以支持通配符
ceph orch apply mon --placement=*
# 根据标签进行编排
# 打上标签
ceph orch host label add node2 标签
ceph orch apply mon --placement=label:标签
2、手动进行编排
# 先关掉自我扩展
ceph orch apply mgr --unmanaged
# 手动部署在node3上面
[root@node1 ~]# ceph orch daemon add mgr node3
# 手动停止
[root@node1 ~]# ceph orch daemon stop node-exporter.node1
Scheduled to stop node-exporter.node1 on host 'node1'
# 手动启动
ceph orch daemon start node-exporter.node1
# 删掉一个进程
ceph orch daemon rm node-exporter.node1
3、停止，删除，重启服务等操作
# ceph orch 动作 服务名
ceph orch stop node-exporter
# 自动启动服务
ceph orch start node-exporter
# 重启进程
ceph orch restart node-exporter
# 删掉这个服务的所有进程
ceph orch rm grafana
# 添加进程
ceph orch add mgr
4、查询服务进程
- 这个时候就跟刚开始的allow对应，调度在这些主机名上面了
[root@node1 ~]# ceph orch ps
NAME HOST PORTS STATUS REFRESHED AGE MEM USE MEM LIM VERSION IMAGE ID CONTAINER ID
alertmanager.node1 node1 *:9093,9094 running (6m) 5m ago 39m 23.7M - 0.23.0 ba2b418f427c 0f1f02a684a6
crash.node1 node1 running (39m) 5m ago 39m 7222k - 16.2.15 3c4eff6082ae 53fc2e3840fc
crash.node2 node2 running (30m) 4m ago 30m 7386k - 16.2.15 3c4eff6082ae 6ac4db1141e7
crash.node3 node3 running (26m) 6m ago 26m 7402k - 16.2.15 3c4eff6082ae 4df3e7b84e90
grafana.node1 node1 *:3000 running (39m) 5m ago 39m 57.7M - 8.3.5 dad864ee21e9 a29b536c7d57
mgr.node1.bhqezd node1 *:9283 running (40m) 5m ago 40m 452M - 16.2.15 3c4eff6082ae 02cc7d8b42df
mgr.node2.zdxuiu node2 *:8443,9283 running (30m) 4m ago 30m 401M - 16.2.15 3c4eff6082ae 2aeddd75b9cc
mon.node1 node1 running (40m) 5m ago 40m 124M 2048M 16.2.15 3c4eff6082ae 1d67f509959b
mon.node2 node2 running (30m) 4m ago 30m 134M 2048M 16.2.15 3c4eff6082ae a444a91c307a
mon.node3 node3 running (26m) 6m ago 26m 128M 2048M 16.2.15 3c4eff6082ae 550929acbd32
node-exporter.node1 node1 *:9100 running (39m) 5m ago 39m 21.2M - 1.3.1 1dbe0e931976 acd154d21b9c
node-exporter.node2 node2 *:9100 running (30m) 4m ago 30m 26.7M - 1.3.1 1dbe0e931976 17d2fd2dae0a
node-exporter.node3 node3 *:9100 running (26m) 6m ago 26m 23.8M - 1.3.1 1dbe0e931976 b425326bd080
prometheus.node1 node1 *:9095 running (6m) 5m ago 39m 47.7M - 2.33.4 514e6a882f6e ca756cd5a9a4
7、添加OSD
1、手动添加OSD
ceph orch daemon add osd node1:/dev/sda
ceph orch daemon add osd node1:/dev/sdb
ceph orch daemon add osd node1:/dev/sdc
2、自动方式添加OSD
# 将所有空闲磁盘变成OSD
[root@node1 ~]# ceph orch apply osd
--all-available-devices is required
Error EINVAL:
[root@node1 ~]# ceph orch apply osd --all-available-devices
Scheduled osd.all-available-devices update...
# 搭建好了
[root@node1 ~]# ceph -s
cluster:
id: 07726f64-b2aa-11ef-a070-000c29679dd7
health: HEALTH_WARN
Reduced data availability: 1 pg inactive, 1 pg peering
services:
mon: 3 daemons, quorum node1,node2,node3 (age 44m)
mgr: node1.bhqezd(active, since 57m), standbys: node2.zdxuiu
osd: 9 osds: 9 up (since 1.08911s), 9 in (since 23s)
data:
pools: 1 pools, 1 pgs
objects: 0 objects, 0 B
usage: 2.3 GiB used, 78 GiB / 80 GiB avail
pgs: 100.000% pgs not active
1 remapped+peering
8、安装成功了
这样上面的步骤就安装成功了
必要条件，cephadm，
3、cephadm脚本原理
1、cephadm最小化安装
就是现在一个引导节点上面部署最小化的ceph集群(利用容器仓库)
搭建了一个ceph最小化后，利用mgr的扩展进行扩展节点
通过ceph密钥进行管理其他节点
2、ceph编排器
- 通过这些接口实现这些功能
3、各个容器作用
# 这个id就是集群的id
[root@node1 mon.node1]# pwd
/var/lib/ceph/47a615ea-b2dc-11ef-a364-000c29679dd7/mon.node1
# 所以每一个节点都会在/var/lib/id/里面产生一些文件
# 如果mon异常的话，可以执行
[root@node1 mon.node1]# file unit.run
unit.run: ASCII text, with very long lines
4、各个服务端口
