Hive 常见配置类报错与解决方案速查手册

Hive 常见配置类报错与解决方案速查手册

前言

在使用 Hive 处理数据时，我们常常会因为数据规模、SQL 复杂度或集群环境的差异，遇到各种各样的报错。其中，很大一部分问题并非 SQL 逻辑错误，而是与 Hive 的执行配置息息相关。这些配置决定了 Hive 如何分配资源、如何优化 SQL、以及如何执行任务。

本文档根据常见的配置类报错信息，整理了一份速查解决方案手册，旨在帮助您快速定位问题并找到对应的配置参数进行调整，从而高效地解决问题。

Hive 常见配置类报错与解决方案速查手册

前言

在使用 Hive 处理数据时，我们常常会因为数据规模、SQL 复杂度或集群环境的差异，遇到各种各样的报错。其中，很大一部分问题并非 SQL 逻辑错误，而是与 Hive 的执行配置息息相关。这些配置决定了 Hive 如何分配资源、如何优化 SQL、以及如何执行任务。

本文档根据常见的配置类报错信息，整理了一份速查解决方案手册，旨在帮助您快速定位问题并找到对应的配置参数进行调整，从而高效地解决问题。

一、内存溢出问题 (OutOfMemoryError)

这是最常见的错误之一，通常发生在处理大数据量或数据倾斜的任务中，表明分配给 Map 或 Reduce 任务的内存不足以完成计算。

错误现象

java.lang.OutOfMemoryError: Java heap space

问题分析

该错误明确指出 Java 堆内存不足。在 Hive on MapReduce 或 Hive on Tez 中，我们需要增大相应任务容器（Container）的内存以及容器内 Java 虚拟机（JVM）可用的堆内存。

解决方案

1. 对于 MapReduce 任务

需要同时调大容器内存 memory.mb 和 JVM 堆内存 java.opts。通常，java.opts 的 -Xmx 值值应设置为容器内存的 75%-80% 左右。

-- 增大 Map 任务内存
set
````educe.map.memory.mb=8192;
set mapreduce.map.java.opts=-Xmx6554M;

--
````educe 任务内存
set mapreduce.reduce.memory.mb=8192;
set mapreduce.reduce.java.opts=-
````54M;

二、Hive SQL对列名as为新列名后，使用原列名编译报错：Invalid table alias or column reference ‘xxx’.

解决方案： set hive.cbo.enable=true;

三、 Hive SQL子查询编译报错：Unsupported SubQuery Expression ‘xxx’: Only SubQuery expressions that are top level conjuncts are allowed.

解决方案： set hive.cbo.enable=true;

四、 Hive SQL子查询编译报错：CalciteSubquerySemanticException [Error 10249]: Unsupported SubQuery Expression Currently SubQuery expressions are only allowed as Where and Having Clause predicates.

解决方案：set hive.cbo.enable=true;

五、Hive SQL编译报错：Error running query: java.lang.AssertionError: Cannot add expression of different type to set.

解决方案：set hive.cbo.enable=false;

六、Hive SQL执行报错：java.lang.NullPointerException at org.apache.hadoop.hive.ql.udf.generic.GenericUDAFComputeStats$GenericUDAFNumericStatsEvaluator.init.

解决方案：set hive.map.aggr=false;

七、Hive SQL设置hive.auto.convert.join = true（默认开启）和hive.optimize.skewjoin=true执行报错：ClassCastException org.apache.hadoop.hive.ql.plan.ConditionalWork cannot be cast to org.apache.hadoop.hive.ql.plan.MapredWork.

解决方案：set hive.optimize.skewjoin=false;

八、Hive SQL设置hive.auto.convert.join=true（默认开启）、hive.optimize.skewjoin=true和hive.exec.parallel=true执行报错：java.io.FileNotFoundException: File does not exist:xxx/reduce.xml.

解决方案：

方法1：set hive.exec.parallel=false;
方法2：set hive.auto.convert.join=false;

执行

Set 后面跟语法 ； 查看状态 ；