关于spark在yarn上运行时候内存的介绍

在YARN上运行Spark时，内存管理是性能调优的核心环节。以下是 Driver Memory、Executor Memory、堆内存（Heap Memory） 和 堆外内存（Off-Heap Memory） 的区别与配置方法，以及实际场景中的最佳实践：

1. 核心概念与区别

(1) Driver Memory

• 角色：Driver是Spark应用程序的主控进程，负责：
  • 解析用户代码，生成DAG（任务执行计划）。
  • 调度Task到Executor，并监控执行状态。
  • 收集结果（如collect()操作）或广播变量。
• 内存组成：
  • 堆内存：存储元数据（如Task定义、广播变量）和收集的结果数据。
  • 堆外内存：JVM自身开销、直接内存（如网络传输缓存）。
• 关键参数：
  • spark.driver.memory：Driver的堆内存（默认1g）。
  • spark.driver.memoryOverhead：Driver的堆外内存（默认max(384MB, 0.1 * spark.driver.memory)）。

(2) Executor Memory

• 角色：Executor是工作节点上的任务执行进程，负责：
  • 执行具体的Task（如Map、Reduce操作）。
  • 缓存数据（如cache()、persist()）。
• 内存组成：
  • 堆内存：存储Task处理的数据、缓存的数据。
  • 堆外内存：Shuffle中间数据、原生操作（如HDFS读写缓存）。
• 关键参数：
  • spark.executor.memory：Executor的堆内存（默认1g）。
  • spark.executor.memoryOverhead：Executor的堆外内存（默认max(384MB, 0.1 * spark.executor.memory)）。
  • spark.memory.fraction：Executor中用于计算和缓存的总内存占比（默认0.6）。

(3) 堆内存 vs 堆外内存

2. 内存设置规则

(1) 总内存限制

在YARN集群中，Driver和Executor的内存需满足：

• Driver总内存 ≤ YARN单容器内存上限（由yarn.scheduler.maximum-allocation-mb定义）。
• Executor总内存 ≤ YARN单容器内存上限。

总内存计算公式：

Driver总内存 = spark.driver.memory + spark.driver.memoryOverhead
Executor总内存 = spark.executor.memory + spark.executor.memoryOverhead

(2) 配置建议

(3) 典型场景设置示例

• 场景1：常规ETL任务

  spark-submit \
    --driver-memory 4g \
    --executor-memory 8g \
    --conf spark.executor.memoryOverhead=2g \
    --conf spark.driver.memoryOverhead=1g \
    ...
  

  • 说明：Executor处理数据分区，预留2GB堆外内存应对Shuffle。

• 场景2：需collect()大量数据

  spark-submit \
    --driver-memory 16g \           # 收集10GB数据时，Driver堆内存需足够大
    --conf spark.driver.maxResultSize=10g \
    ...
  

  • 注意：避免collect()，优先使用分布式写入（如write.parquet()）。

• 场景3：机器学习（频繁Shuffle）

  spark-submit \
    --executor-memory 16g \
    --conf spark.executor.memoryOverhead=4g \  # Shuffle和原生库可能占用大量堆外内存
    --conf spark.memory.fraction=0.7 \         # 提高计算内存占比
    ...
  

3. 常见问题与调优

(1) Driver OOM（堆内存不足）

• 表现：java.lang.OutOfMemoryError: Java heap space。
• 解决方案：
  • 增加spark.driver.memory。
  • 避免在Driver中收集大数据（用take(n)替代collect()）。
  • 减少广播变量大小。

(2) Executor OOM（堆内存不足）

• 表现：Executor日志中抛出堆内存溢出。
• 解决方案：
  • 增加spark.executor.memory。
  • 减少单个分区的数据量（通过repartition()增大分区数）。
  • 使用MEMORY_AND_DISK缓存级别。

(3) 容器被YARN杀死（堆外内存不足）

• 表现：YARN日志提示 Container killed due to exceeding memory limits。
• 解决方案：
  • 增大spark.executor.memoryOverhead或spark.driver.memoryOverhead。
  • 检查是否使用Native库（如OpenBLAS）导致堆外内存泄漏。

(4) Shuffle阶段频繁溢写磁盘

• 表现：Spark UI中Shuffle Write/Read量过大，任务变慢。
• 解决方案：
  • 增大spark.executor.memory和spark.memory.fraction（为Execution内存留更多空间）。
  • 优化数据倾斜（加盐、拆分倾斜Key）。

4. 最佳实践总结

5. 完整示例配置

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --driver-memory 8g \
  --executor-memory 16g \
  --conf spark.driver.memoryOverhead=2g \
  --conf spark.executor.memoryOverhead=4g \
  --conf spark.memory.fraction=0.7 \
  --conf spark.sql.shuffle.partitions=2000 \
  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
  --class com.example.Main \
  /path/to/your-app.jar

通过合理分配堆内外内存、监控资源使用，并结合业务逻辑优化，可以显著减少Spark作业的OOM风险和性能瓶颈。