Spark 单机模式部署与启动

🚀 Spark 单机模式部署与启动教程（适配 Hadoop 3.1.1）

本文记录了在 Linux 环境中部署 Spark 的完整过程，使用 Standalone 单机模式，适配 Hadoop 3.1.1，最终可通过 Web 页面访问 Spark Master 状态界面。

🧱 1. 环境准备

• 操作系统：CentOS / Ubuntu / Rocky 等 Linux 发行版
• Hadoop 版本：3.1.1（已安装）
• Spark 版本：3.1.2 with Hadoop 3.2
• Java 8+
• 安装目录：/opt/module/spark-3.1.2-bin-hadoop3.2
• 本机 IP：192.168.0.110

📦 2. 安装 Spark

从 Apache 官方下载：

wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

解压并移动到指定目录：

tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz
mv spark-3.1.2-bin-hadoop3.2 /opt/module/

⚙ 3. 配置环境变量

编辑 ~/.bashrc 或 ~/.bash_profile，添加以下内容：

# Spark
export SPARK_HOME=/opt/module/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

使配置生效：

source ~/.bashrc

🧪 4. 启动 Spark（Standalone 模式）

4.1 启动 Master 服务：

start-master.sh

成功后会输出 Spark Master 的 URL，例如：

spark://192.168.0.110:7077

4.2 启动 Worker 服务（连接到 Master）：

start-worker.sh spark://192.168.0.110:7077

🌐 5. 访问 Web UI

5.1 Spark Master 页面：

在浏览器访问：

http://192.168.0.110:8080

可查看集群状态、Worker 数量、运行的应用等。

5.2 Worker 页面（默认端口 8081）：

http://192.168.0.110:8081

5.3 Spark 应用页面（运行中）：

如果你通过 spark-shell 或 spark-submit 启动应用，会自动开启：

http://192.168.0.110:4040

✅ 6. 验证 Spark 可用性

spark-shell

进入交互式命令行，执行测试命令：

val data = sc.parallelize(1 to 10)
data.reduce(_ + _)

输出为 55 表示运行成功。

⛔ 7. 停止 Spark 服务

stop-worker.sh
stop-master.sh

🔐 8. 防火墙放行端口（可选）

确保你能从浏览器访问 Spark Web UI，需放通以下端口：

sudo firewall-cmd --add-port=8080/tcp --permanent
sudo firewall-cmd --add-port=8081/tcp --permanent
sudo firewall-cmd --add-port=7077/tcp --permanent
sudo firewall-cmd --add-port=4040/tcp --permanent
sudo firewall-cmd --reload

📌 总结