kafka消息积压排查

kafka监控搭建：https://insights.blog.csdn.net/article/details/139129552?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7Ebaidujs_baidulandingword%7EPaidSort-1-139129552-blog-132216491.235%5Ev43%5Econtrol&utm_relevant_index=2

kafka常用操作

创建topic

bin/kafka-topics.sh --create  --bootstrap-server 10.131.139.155:9092 --replication-factor 1 --partitions 3 --topic test

修改分区

bin/kafka-topics.sh --alter  --bootstrap-server 10.131.139.155:9092   --partitions 3 --topic test

创建消费者组并在后台持续消费

nohup /path/to/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server kafka1:9092 \
  --topic test \
  --group my-test-group \
  --from-beginning > consumer.log 2>&1 &

查看group在指定topic各分区的消费情况

bin/kafka-consumer-groups.sh   --bootstrap-server 10.131.139.155:9092   --describe --group my-test-group

可以从这里看到每个分区的消息、提交偏移量以及对应的客户端
可以通过watch -n 1 观察每秒的变化情况

发送消息

./kafka_2.11-2.4.1/bin/kafka-console-producer.sh --broker-list 10.131.139.155:9092   --topic test   --property parse.key=true   --property key.separator=: