Zookeeper 介绍
ZooKeeper 是一个开源的分布式协调服务，用于管理和协调分布式系统中的节点。它提供了一种高效、可靠的方式来解决分布式系统中的常见问题，如数据同步、配置管理、命名服务和集群管理等。本文介绍通过 DataKit 采集 Zookeeper 指标，帮助监控 Zookeeper 运行情况。
主要功能：
- 配置管理：集中管理分布式系统的配置信息，便于动态更新和同步。
- 命名服务：为分布式系统中的节点提供统一的命名和查找机制，类似于 DNS。
- 分布式锁：通过锁机制解决分布式系统中的资源竞争问题。
- 队列管理：实现分布式队列，支持顺序队列和优先队列。
- 集群管理：监控集群成员的健康状态，实现故障检测和自动恢复。
Zookeeper 可观测的必要性：
- 保障系统稳定性：ZooKeeper 是分布式系统的核心组件，负责协调多个节点的行为，确保数据一致性和服务可用性。监控 ZooKeeper 的健康状态可以及时发现潜在问题，如节点故障、网络异常或性能瓶颈，从而快速采取措施，避免系统整体故障。
- 优化系统性能：监控可以帮助开发者和运维人员了解 ZooKeeper 集群的性能状况，例如操作延迟、事务处理速度等。通过分析这些数据，可以优化配置，提升系统性能。
- 预防故障：监控系统可以提前预警潜在问题，例如磁盘 I/O 等资源瓶颈，从而在问题恶化之前进行干预，预防故障的发生。
- 支持故障排查：当 ZooKeeper 集群出现问题时，监控数据可以提供关键线索，帮助快速定位问题根源。例如，通过分析日志和性能指标，可以确定是网络问题、配置错误还是硬件故障。
- 提升运维效率：运维人员可以直观地查看 ZooKeeper 集群的状态，减少手动排查问题的时间，提高运维效率。
- 确保集群一致性：ZooKeeper 的核心功能之一是保证分布式系统中数据的一致性。监控可以确保集群中的所有节点状态一致，及时发现和修复不一致的情况。
- 支持动态调整：分布式系统的环境和需求可能会动态变化，监控 ZooKeeper 可以帮助运维人员根据实时数据动态调整集群配置，例如增加节点或优化资源分配。
观测云
观测云是一款功能强大的统一可观测平台，提供对多云环境、云原生应用、中间件以及各类应用程序的实时监控和分析能力。在 ZooKeeper 的监控场景中，观测云通过其核心数据采集器 DataKit，结合 ZooKeeper 的监控指标，实现对 ZooKeeper 集群的实时监控和数据可视化展示。观测云通过其强大的数据可视化功能，将 ZooKeeper 的监控指标以直观的仪表盘形式展示出来，帮助用户快速定位问题并优化系统性能。
暴露 Zookeeper 指标
从 3.6.0 版本开始，ZooKeeper 原生支持 Prometheus 格式的指标暴露。只需在 zoo.cfg 配置文件中添加以下配置：
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
然后重启 Zookeeper 服务。
执行完毕后，可通过 http://主机ip:7000/metrics 查看当前主机获取到的所有监控数据。
采集器配置
进入 DataKit 安装目录下的 conf.d/prom 目录，复制 prom.conf.sample 并命名为 zookeeper.conf。
[[inputs.prom]]
urls = ["http://192.168.0.19:7000/metrics"]
## 采 集 器 别 名
source = "zookeeper"
## 采 集 间 隔 "ns", "us" (or "µs"), "ms", "s", "m", "h"
interval = "10s"
measurement_name = "zookeeper"
metric_types = []
## TLS 配 置
tls_open = false
[inputs.prom.tags]
service = "zookeeper"
# ·················
[inputs.prom.as_logging]
enable = false
service = "service_name"
## Customize tags.
# [inputs.prom.tags]
# some_tag = "some_value"
# more_tag = "some_other_value"
## (Optional) Collect interval: (defaults to "30s").
# interval = "30s"
## (Optional) Timeout: (defaults to "30s").
# timeout = "30s"
主要修改 urls，配置好后保存，重启 DataKit 即可。
关键指标
登录观测云控制台，点击「指标」 -「指标管理」，输入“zookeeper”，就能查询采集到的指标。
ZooKeeper 是一个分布式协调服务，用于管理分布式系统中的配置信息、命名服务、分布式同步等。以下是对 ZooKeeper 指标的解释：
- 系统性能与延迟：通过 ZooKeeper 的四字命令（如 stat、srvr 等）可以获取服务的运行状态，包括是否处于领导者或追随者角色、服务的延迟等
- 会话数：监控会话数可以帮助了解 ZooKeeper 的使用情况，及时发现异常的会话增长。
- 请求延迟：监控 ZooKeeper 的请求延迟可以帮助评估服务的响应性能。高延迟可能表明存在性能问题，需要进一步调查。
以下是关于 Zookeeper 关键指标的介绍：
| 指标 | 描述 | 单位 |
|---|---|---|
| avg_latency | 平均延迟 | ms |
| readlatency_count | 读操作延迟的计数 | count |
| propagation_latency_count | 数据传播延迟的计数 | count |
| commit_count | 提交操作的次数 | count |
| requests_in_session_queue_count | 会话队列中的请求数量 | count |
| requests_not_forwarded_to_commit_processor | 未转发到提交处理器的请求数量 | count |
| prep_processor_queue_size | 预处理队列的大小 | Bytes |
| connection_request_count | 当前存活的连接数 | count |
| num_alive_connections | 用于缓存文件系统的内存量 | Bytes |
| session_queues_drained_count | 会话队列被清空的次数 | count |
| auth_failed_count | 认证失败的次数 | count |
| ensemble_auth_fail | 集群认证失败的次数 | count |
| bytes_received_count | 接收的字节数 | Bytes |
| open_file_descriptor_count | 当前打开的文件描述符数量 | count |
| process_open_fds | 进程打开的文件描述符数量 | count |
| uptime | 系统或进程的运行时间 | s |
| approximate_data_size | 近似数据大小 | Bytes |
| znode_count | 节点数量 | count |
| watch_count | 监控数量 | count |
场景视图
登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “Zookeeper”， 选择 “ Zookeeper”，点击 “确定” 即可添加视图。
监控器（告警）
Zookeeper 服务器发送宕机异常
Zookeeper 平均响应延迟过高异常
Zookeeper 堆积请求数过大异常
总结
通过使用观测云平台对 ZooKeeper 进行统一监控，我们能够实时追踪关键性能指标，如会话连接数、节点读写操作次数、以及会话超时情况。这些指标对于优化 ZooKeeper 集群性能、识别性能瓶颈、及时排查故障至关重要。它们帮助我们优化会话管理策略，确保集群状态一致性，进行有效的资源规划，并为分布式协调任务提供支持。这样的监控不仅增强了用户体验，也显著提高了系统的可靠性和稳定性。