kafka入门学习&结合java程序的实践

发布于:2025-05-14 ⋅ 阅读:(21) ⋅ 点赞:(0)

1、kafka简介

推荐学习课程(B站链接):

【4小时学会Kafka,从入门到进阶实战,带你掌握Kafka所有核心知识点(2024最新版)】 https://www.bilibili.com/video/BV1Kwx1e8E1C/?share_source=copy_web&vd_source=4d3ed0722c9efeeb4de2bcea829d5c69

2、windows系统下安装kafka,并进行配置

2.1.java jdk安装

下载jdk并且配置环镜变量(网上有教程),本人安装的是jdk21。

2.2.zookeeper下载、安装、启动

使用阿里云镜像地址下载,速度块。此处下载的是3.8.4版本。下载地址:apache-zookeeper安装包下载_开源镜像站-阿里云

kafka是基于Zookeeper的,而Zookeeper一般都是一个分布式的集群,尽管kafka有自带Zookeeper,但是一般不使用自带的,都是使用外部安装的,所以首先我们需要安装Zookeeper。

1.把下载好的压缩包解压,放到自己指定想要安装的目录下;
2.在bin文件夹同级下,创建data文件夹、log文件夹;
3.找到config文件夹,将目录中zoo_sample.cfg文件复制一份,重命名为zoo.cfg;
4.修改zoo.cfg配置文件,将默认的 dataDir=/tmp/zookeeper 修改成 zookeeper 安装目录所在的data 文件夹,再增加数据日志的配置;

 启动

完成上面所有配置后,进入到zookeeper安装目录下的bin文件下,双击运行 zkServer.cmd 启动;
保持cmd窗口不要关掉!!!

zookeeper启动成功

2.2.kafka下载、安装

注意:建议直接把安装包放在磁盘根目录下解压,不然后续启动时候会报错路径过长,此为规避办法。

2.2.1 下载

建议还是从阿里云镜像地址下载(速度快!),此处下载的是3.8.0版本

apache-kafka安装包下载_开源镜像站-阿里云

 2.2.2 修改配置文件

 解压到相应文件夹,进入config目录下,找到server.properties文件。修改log.dir的路径

 2.2.3 启动kafka

./bin/windows/kafka-server-start.bat ./config/server.properties

我是在git bash下启动的命令如上

 启动成功

2.3.测试消息的生产和消费

2.3.1 生产消息

创建一个生产者,消息主题为demo

kafka-console-producer.bat --bootstrap-server localhost:9092 --topic demo

 2.3.2 消费消息

创建一个消费者,消费demo主题的消息

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic demo

 2.3.3 测试生产和消费的情况

 2.3.4 可借助offset explorer工具,可视化查看kafka消息

3、使用java代码进行kafka消息的生产和消费

首先借助AI帮忙生产下代码

新建一个maven项目

在pom中添加kafka客户端的依赖

编写kafka工具类,实现生产和消费(AI还是很强大的,其实自己根本不会写这部分的代码,通过AI就减少了很多知识搜索的成本)

AI回答:主题需要提前创建好

一般在正式环镜中我们不随程序而创建,而是提前创建好,这里就使用kafka命令行工具创建

 如上是之前我们通过命令行终端测试时,创建的topic

 ./kafka-topics.bat --list --bootstrap-server localhost:9092

现在我们创建一个test-topic主题

./kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test-topic --partitions 1 --replication-factor 1

编写main方法,测试生产和消费

分别编写生产和消费的main方法,同时允许,观察生产和消费的情况

生产者代码如下

消费者代码如下

4、总结

以上便是kafka的一些部署和使用,并且结合java程序怎么实现生产和消费。更高阶的玩大家自行探索!

PS:项目代码如果需要可以联系我获取


网站公告

今日签到

点亮在社区的每一天
去签到