1. 检查生产者和消费者的速率
生产者吞吐量测试：
kafka-producer-perf-test.sh --topic <your-topic> # 需要填写测试的主题名，如 "my-topic"
--num-records <count> # 需要填写消息的数量（例如：100000）
--record-size <size> # 需要填写消息的大小（字节数，例如：1024）
--throughput <rate> # 需要填写生产者的吞吐量（每秒发送的消息数量，如：10000）
--producer-props bootstrap.servers=<brokers> # 需要填写 Kafka 集群的 brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
消费者吞吐量测试：
kafka-consumer-perf-test.sh --topic <your-topic> # 需要填写测试的主题名，如 "my-topic"
--broker-list <brokers> # 需要填写 Kafka 集群的 brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--messages <count> # 需要填写要消费的消息数量（例如：100000）
--group <your-consumer-group> # 需要填写消费者组名，如 "my-consumer-group"
2. 查看 Kafka 消费者组的状态
查看某个消费者组的偏移量：
kafka-consumer-groups.sh --bootstrap-server <brokers> # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--describe --group <your-consumer-group> # 需要填写消费者组名，如 "my-consumer-group"
查看所有消费者组的状态：
kafka-consumer-groups.sh --bootstrap-server <brokers> # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--list # 列出所有消费者组
3. 查看 Kafka 主题的分区情况
查看某个主题的分区信息：
kafka-topics.sh --bootstrap-server <brokers> # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--describe --topic <your-topic> # 需要填写主题名，如 "my-topic"
查看所有主题：
kafka-topics.sh --bootstrap-server <brokers> # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
--list # 列出所有主题
4. 查看 Kafka 集群的资源使用情况
查看 Kafka broker 的状态：
kafka-broker-api-versions.sh --bootstrap-server <brokers> # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
查看 Kafka broker 的详细信息：
kafka-broker-api-versions.sh --bootstrap-server <brokers> --describe # 需要填写 Kafka brokers（如："kafka-broker1:9092,kafka-broker2:9092"）
5. 查看 Kafka 消息堆积情况
使用 kafka-run-class.sh 查看堆积的消息：
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <zookeeper-server> # 需要填写 Zookeeper 服务器地址（如："zookeeper1:2181"）
--topic <your-topic> # 需要填写主题名，如 "my-topic"
--group <your-consumer-group> # 需要填写消费者组名，如 "my-consumer-group"
查看 Kafka 消息日志目录的磁盘占用情况：
du -sh /var/lib/kafka/logs # 需要根据实际 Kafka 配置文件中的日志路径来调整，默认路径是 "/var/lib/kafka/logs"
查看 Kafka 消息的堆积情况（Prometheus）：
curl http://<kafka-broker>:<port>/metrics | grep "log" # 需要填写 Kafka broker 的地址和端口（如："kafka-broker1:9092"）
6. 查看 Kafka 节点的负载和资源使用
检查 Kafka 节点的负载情况（CPU、内存、磁盘）：
top -u kafka # 这将显示 Kafka 进程的 CPU 和内存使用情况
#或者使用
htop # 更加友好的交互式命令，查看 Kafka 进程的负载
查看 Kafka 磁盘使用情况：
df -h /var/lib/kafka # 需要填写 Kafka 数据目录所在路径，默认是 "/var/lib/kafka"
7. 监控 Kafka 的性能和健康状况
Kafka Metrics (JMX)： 启动 JMX 客户端：
jconsole <kafka-broker-ip>:<jmx-port> # 需要填写 Kafka broker 的 IP 地址和 JMX 端口（通常默认为 1099）
8. 查看生产者和消费者日志
生产者日志：
tail -f /var/log/kafka/producer.log # 需要根据实际日志文件路径来调整，默认路径可能是 "/var/log/kafka"
消费者日志：
tail -f /var/log/kafka/consumer.log # 需要根据实际日志文件路径来调整，默认路径可能是 "/var/log/kafka"
9. 查看 Kafka 配置
查看 Kafka 配置文件（server.properties）：
cat /etc/kafka/server.properties # 需要填写 Kafka 配置文件路径，默认路径通常是 "/etc/kafka/server.properties"
常见关键配置项：
log.retention.hours：设置消息的保留时间（单位：小时）
log.retention.bytes：设置日志文件的最大大小
num.partitions：默认分区数
log.segment.bytes：日志文件的最大大小
10. Kafka 消费者线程调优
查看消费者处理的线程数和调整并发度：
ps aux | grep kafka-consumer # 查看 Kafka 消费者进程的详细信息，包括线程数、CPU 和内存使用等