1、kafka简介
推荐学习课程(B站链接):
【4小时学会Kafka,从入门到进阶实战,带你掌握Kafka所有核心知识点(2024最新版)】 https://www.bilibili.com/video/BV1Kwx1e8E1C/?share_source=copy_web&vd_source=4d3ed0722c9efeeb4de2bcea829d5c69
2、windows系统下安装kafka,并进行配置
2.1.java jdk安装
下载jdk并且配置环镜变量(网上有教程),本人安装的是jdk21。
2.2.zookeeper下载、安装、启动
使用阿里云镜像地址下载,速度块。此处下载的是3.8.4版本。下载地址:apache-zookeeper安装包下载_开源镜像站-阿里云
kafka是基于Zookeeper的,而Zookeeper一般都是一个分布式的集群,尽管kafka有自带Zookeeper,但是一般不使用自带的,都是使用外部安装的,所以首先我们需要安装Zookeeper。
1.把下载好的压缩包解压,放到自己指定想要安装的目录下;
2.在bin文件夹同级下,创建data文件夹、log文件夹;
3.找到config文件夹,将目录中zoo_sample.cfg文件复制一份,重命名为zoo.cfg;
4.修改zoo.cfg配置文件,将默认的 dataDir=/tmp/zookeeper 修改成 zookeeper 安装目录所在的data 文件夹,再增加数据日志的配置;
启动
完成上面所有配置后,进入到zookeeper安装目录下的bin文件下,双击运行 zkServer.cmd 启动;
保持cmd窗口不要关掉!!!
zookeeper启动成功
2.2.kafka下载、安装
注意:建议直接把安装包放在磁盘根目录下解压,不然后续启动时候会报错路径过长,此为规避办法。
2.2.1 下载
建议还是从阿里云镜像地址下载(速度快!),此处下载的是3.8.0版本
2.2.2 修改配置文件
解压到相应文件夹,进入config目录下,找到server.properties文件。修改log.dir的路径
2.2.3 启动kafka
./bin/windows/kafka-server-start.bat ./config/server.properties
我是在git bash下启动的命令如上
启动成功
2.3.测试消息的生产和消费
2.3.1 生产消息
创建一个生产者,消息主题为demo
kafka-console-producer.bat --bootstrap-server localhost:9092 --topic demo
2.3.2 消费消息
创建一个消费者,消费demo主题的消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic demo
2.3.3 测试生产和消费的情况
2.3.4 可借助offset explorer工具,可视化查看kafka消息
3、使用java代码进行kafka消息的生产和消费
首先借助AI帮忙生产下代码
新建一个maven项目
在pom中添加kafka客户端的依赖
编写kafka工具类,实现生产和消费(AI还是很强大的,其实自己根本不会写这部分的代码,通过AI就减少了很多知识搜索的成本)
AI回答:主题需要提前创建好
一般在正式环镜中我们不随程序而创建,而是提前创建好,这里就使用kafka命令行工具创建
如上是之前我们通过命令行终端测试时,创建的topic
./kafka-topics.bat --list --bootstrap-server localhost:9092
现在我们创建一个test-topic主题
./kafka-topics.bat --create --bootstrap-server localhost:9092 --topic test-topic --partitions 1 --replication-factor 1
编写main方法,测试生产和消费
分别编写生产和消费的main方法,同时允许,观察生产和消费的情况
生产者代码如下
消费者代码如下
4、总结
以上便是kafka的一些部署和使用,并且结合java程序怎么实现生产和消费。更高阶的玩大家自行探索!
PS:项目代码如果需要可以联系我获取