文章目录
前言
在大数据处理和分析的生态系统中，日志数据和其他形式的数据流收集是构建可靠数据管道的关键环节。Apache Flume作为一种高效、可靠的服务，专为收集、聚合和移动大量日志数据而设计，成为了众多企业和开发者进行数据采集的首选工具。它不仅能够满足实时数据流的传输需求，还支持灵活的数据源接入和多种输出方式，适用于从不同来源捕获数据并将其加载到Hadoop等系统中进行进一步分析。
本文旨在为用户提供一份详细的Flume 1.9.0手动部署教程，涵盖从下载、上传、解压、配置到环境变量设置的每一个步骤。同时，为了适应集群环境的需求，我们还提供了多台虚拟机（如hadoop1, hadoop2, hadoop3）上的安装与配置指导，以确保用户能够在分布式环境中顺利地使用Flume服务。
一、Flume部署（手动部署）
1. 下载Flume安装包并上传到Linux
1.1 下载
点击在官网下载Flume1.9.0安装包：https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
点击在华为镜像站下载Flume1.9.0安装包：https://repo.huaweicloud.com:8443/artifactory/apache-local/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
1.2 上传
通过拖移的方式将下载的Flume安装包apache-flume-1.9.0-bin.tar.gz上传至虚拟机hadoop1的/export/software目录。
2. 解压Flume安装包
2.1 解压
在虚拟机hadoop1上传完成后将Flume安装包通过解压方式安装至/export/servers目录。
tar -zxvf /export/software/apache-flume-1.9.0-bin.tar.gz -C /export/servers/
解压完成如下图所示。
2.2 重命名
在虚拟机hadoop1执行如下命令将apache-flume-1.9.0-bin重命名为flume-1.9.0。
mv /export/servers/apache-flume-1.9.0-bin /export/servers/flume-1.9.0
3. 配置Flume
3.1 修改 flume-env.sh 配置文件
在虚拟机hadoop1修改Flume运行时环境变量配置文件/export/servers/flume-1.9.0/conf/flume-env.sh，执行如下命令修改配置。
cat >/export/servers/flume-1.9.0/conf/flume-env.sh <<EOF
export JAVA_HOME=/export/servers/jdk1.8.0_421
EOF
4. 虚拟机hadoop2安装并配置Flume
在虚拟机hadoop1使用scp命令把Flume的安装目录复制到虚拟机hadoop2的相同目录下，就相当于在hadoop2安装并配置了Flume。
scp -r root@hadoop1:/export/servers/flume-1.9.0 root@hadoop2:/export/servers
5. 虚拟机hadoop3安装并配置Flume
在虚拟机hadoop1使用scp命令把Flume的安装目录复制到虚拟机hadoop3的相同目录下，就相当于在hadoop3安装并配置了Flume。
scp -r root@hadoop1:/export/servers/flume-1.9.0 root@hadoop3:/export/servers
6. 配置Flume环境变量
6.1 虚拟机hadoop1配置Flume环境变量
在虚拟机hadoop1执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。
echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME
验证是否安装成功
在虚拟机hadoop1执行如下命令查看Flume版本信息，验证是否安装配置成功。
flume-ng version
6.2 虚拟机hadoop2配置Flume环境变量
在虚拟机hadoop2执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。
echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME
6.3 虚拟机hadoop3配置Flume环境变量
在虚拟机hadoop3执行如下命令设置Flume环境变量，并加载系统环境变量配置文件。
echo >> /etc/profile
echo 'export FLUME_HOME=/export/servers/flume-1.9.0' >> /etc/profile
echo 'export PATH=$PATH:$FLUME_HOME/bin' >> /etc/profile
source /etc/profile
echo $FLUME_HOME
