教程 | Hadoop极简部署指南(Docker-Compose版)

发布于:2025-02-12 ⋅ 阅读:(11) ⋅ 点赞:(0)

📦 前置环境准备

1. 安装Docker

安装依赖工具
sudo yum -y install yum-utils

配置阿里云镜像源(国内加速)
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装社区版Docker
sudo yum install -y docker-ce

启动并设置开机自启
sudo systemctl enable --now docker
docker --version

2. 安装Docker-Compose

下载稳定版二进制文件
sudo curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

添加执行权限
sudo chmod +x /usr/local/bin/docker-compose
docker-compose --version

3. 安装Git

sudo yum -y install git

🚀 快速部署指南

方案一:标准版部署(非HA)

拉取仓库
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop

一键启动集群
docker-compose up -d

查看服务状态
docker-compose ps

在这里插入图片描述

访问地址(替换为实际IP):

  • HDFS WebUI:http://<服务器IP>:30070
  • YARN WebUI:http://<服务器IP>:30888

方案二:高可用版部署(HA)

已克隆仓库可跳过此步
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git
cd docker-compose-hadoop/hadoop-ha

启动高可用集群
docker-compose up -d

查看服务状态
docker-compose ps

在这里插入图片描述

访问地址(替换为实际IP):

  • HDFS双入口:http://<服务器IP>:3007030071
  • YARN双入口:http://<服务器IP>:3088830889

📌 注意事项

  1. 所有<服务器IP>需替换为实际服务器公网IP
  2. 首次启动需要下载基础镜像,耗时约5-10分钟
  3. 查看实时日志:docker-compose logs -f
  4. 建议部署前关闭防火墙:systemctl stop firewalld