Linux 搭建 Kafka 环境 - 详细教程-易微帮

# 离线下载安装包
https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz

# 在线利用wget远程下载
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz

解压安装

tar -zvxf kafka_2.12-3.5.2.tgz

（3）环境变量配置

需要在环境变量中指定Kafka的安装目录以及命令文件所在目录，系统环境变量与用户环境变量配置其中之一即可。

/etc/profile 文件最下方添加如下两行命令--配置全局环境。

export KAFKA_HOME=/home/ygsj/Config_files/kafka_server/kafka_2.12-3.5.2
export PATH=$PATH:$KAFKA_HOME/bin

在文件结尾添加以上内容后执行source命令，使其立即生效。

source /etc/profile

[Ubuntu/Debian] source ~/.bashrc

[CentOS/RedHat] source ~/.bash_profile

执行后可以输入kafka，然后按Tab尝试补全【需要按多次】，如果出现命令列表则证明配置成功。

（3）服务启动

使用Kraft模式，则需要先进行集群初始化【即使是单个节点】，以下为操作步骤：

修改配置文件

修改Kafka的/config/kraft/server.properties文件，更换其中的log.dirs目录指向创建目录，防止默认的/tmp被清空：

log.dirs=/home/ygsj/Config_files/kafka_server/kafka-logs

创建Kafka的集群ID

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"

调用 kafka-storage.sh 生成一个UUID

将获得的 UUID 放到 kafka_2.12-3.5.2/config/kraft/server.properties 文件中如下：

相同文件内修改：远程连接开启（红框内写服务器ip）---自己测试0.0.0.0无效

进入到Kafka的家目录后，执行以下命令

bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

# bin/kafka-server-start.sh config/kraft/server.properties

这种方式并不是后台运行，需要保证终端开启，等测试稳定后可以在后台执行或者注册为系统服务。

三. Console测试

基础命令

（1）列出Kafka集群中所有存在的主题

kafka-topics.sh --list --bootstrap-server localhost:9092

--bootstrap-server localhost:9092 指定了Kafka集群的连接地址（在这里是本地的Kafka服务器）
如果集群中没有主题，命令不会返回任何内容
当你创建主题后，这条命令会返回集群中存在的主题列表

（3）创建一个新的主题

kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092

这条命令用于创建一个名为 my-topic 的新主题。
--create 指定了创建操作。
--topic my-topic 指定了要创建的主题名称。
--bootstrap-server localhost:9092 指定了Kafka集群的连接地址。
Created topic my-topic. 表示主题 my-topic 已成功创建。

（3）删除主题

kafka-topics.sh --delete  --topic my-topic --bootstrap-server localhost:9092

--delete: 指定要删除一个主题。
--topic my-topic: 指定要删除的主题名称是 my-topic。
--bootstrap-server localhost:9092: 指定Kafka集群的连接地址（在此是本地的Kafka服务器）。

（4）描述主题

 kafka-topics.sh --describe  --topic my-topic --bootstrap-server localhost:9092

获取指定主题 my-topic 的详细信息。
--describe 指定了描述操作。
--topic my-topic 指定了要描述的主题名称。
--bootstrap-server localhost:9092 指定了Kafka集群的连接地址。

（5）启动生产者

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic my-topic

启动一个基于console的生产者脚本，可以方便的进行数据输入的测试，直接进行数据输入即可。

（6）启动消费者

kafka-console-consumer.sh --help 打印所有参数

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

添加from-beginning参数来从头消费数据。

四. 注册系统服务

为了方便的控制Kafka服务的启动和停止，可以将其注册为系统服务。

1. Systemd服务配置

创建Systemd服务文件

sudo vim /etc/systemd/system/kafka.service

在文件中添加以下内容，需要手动替换ExecStart和ExecStop中关于路径的部分：

[Unit]
Description=Apache Kafka
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/home/ygsj/Config_files/kafka_server/kafka_2.12-3.5.2/bin/kafka-server-start.sh /home/ygsj/Config_files/kafka_server/kafka_2.12-3.5.2/config/kraft/server.properties
ExecStop=/home/ygsj/Config_files/kafka_server/kafka_2.12-3.5.2/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

重新加载Systemd配置

sudo systemctl daemon-reload

2. Kafka服务控制

开机自动启动

sudo systemctl enable kafka.service

启动Kafka服务

sudo systemctl start kafka.service

检查Kafka状态

sudo systemctl status kafka.service

停止Kafka服务

sudo systemctl stop kafka.service

重启Kafka服务

sudo systemctl restart kafka.service

Linux 搭建 Kafka 环境 - 详细教程

一. Kafka介绍

1. 应用场景

2. 版本对比

二. Kafka安装

1. 前置环境

（1）安装JDK

2. 软件安装