解决Ceph 14.2.22 Nautilus版本监视器慢操作问题的实践指南

• 在生产环境中执行任何操作前，请确保已备份重要数据，并在测试环境中验证解决方案

问题背景

在管理大型Ceph存储集群时，经常会遇到各种健康警告。Ceph集群（版本14.2.22 Nautilus）出现了监视器慢操作的警告。

问题现象

通过ceph -s命令，我们发现集群处于HEALTH_WARN状态，显示有多个慢操作：

health: HEALTH_WARN
        46 slow ops, oldest one blocked for 1943 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.

更详细的健康状态显示：

ceph health detail

HEALTH_WARN 46 slow ops, oldest one blocked for 1958 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.
SLOW_OPS 46 slow ops, oldest one blocked for 1958 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.

问题分析

1. 确认监视器状态

首先，检查了监视器的状态，确认了Leader是ceph00：

# ceph mon stat
leader 0 ceph00, quorum 0,1,2,3,4,5,6 ceph00,ceph01,ceph03,ceph04,ceph05,ceph06,ceph02

2. 检查慢操作详情

通过查看监视器日志，发现慢操作的具体类型：

ssh ceph01 "grep -i slow /var/log/ceph/ceph-mon.ceph01.log | tail -n 100"

mon.ceph01@1(peon) e4 get_health_metrics reporting 13 slow ops, oldest is osd_alive(want up_thru 15179 have 15180)

这表明慢操作是OSD发送的osd_alive请求，希望更新其up_thru值。

3. 深入分析操作状态

使用ceph daemon mon.ceph01 ops命令查看操作详情，发现操作卡在了osdmap:wait_for_readable阶段：

{
    "description": "osd_alive(want up_thru 15179 have 15180)",
    "initiated_at": "2025-05-08 10:37:09.737061",
    "age": 2338.8131370760002,
    "duration": 2338.8134614989999,
    "type_data": {
        "events": [
            {
                "time": "2025-05-08 10:37:09.737061",
                "event": "initiated"
            },
            // ...其他事件...
            {
                "time": "2025-05-08 10:37:09.737584",
                "event": "osdmap:wait_for_readable"
            }
        ]
    }
}

问题原因

分析后，确定了几个可能的原因：

1. Leader监视器负载过高：Leader无法及时处理请求
2. 监视器之间的网络通信问题：导致共识协议效率降低
3. 监视器存储性能问题：影响OSDMap的更新和读取
4. 监视器数量过多：7个监视器可能导致共识协议效率降低

解决方案

立即解决方法

重启Leader监视器：

systemctl restart ceph-mon@ceph00

这通常会触发以下过程：

1. Leader监视器重启
2. 集群可能会重新选举Leader
3. 卡住的请求会被重新处理或丢弃
4. 监视器状态恢复正常

总结

监视器慢操作是Ceph集群中常见的问题之一，通常与监视器负载、网络通信或存储性能有关。通过重启Leader监视器，成功解决了这个问题。