Linux搭建hive手册

发布于:2024-07-08 ⋅ 阅读:(52) ⋅ 点赞:(0)

一、将hive安装包上传到NameNode节点并解压

1、删除安装MySQL时的.rpm文件

cd /opt/install_packages/
rm -rf *.rpm

2、将安装包拖进/install_packages目录

3、解压安装包

tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/softs/

4、修改包名

cd /opt/softs
mv apache-hive-3.1.2-bin/ hive3.1.2

二、配置环境变量

1、打开profile文件

vim /etc/profile

2、最末尾添加以下内容

#HIVE_HOME
export HIVE_HOME=/opt/softs/hive3.1.2
export PATH=$PATH:$HIVE_HOME/bin

3、重新加载配置文件

source /etc/profile

4、输出路径检查

echo $HIVE_HOME

三、解决jar包冲突

1、将log4j-slf4j-impl-2.10.0.jar设置为不可用

cd /opt/softs/hive3.1.2/lib
mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.bak     

2、mysql的连接包

(1)将连接包上传至/opt/jar

(2)将上传的jar包拷贝到hive的lib目录下

cp /opt/jar/mysql-connector-java-5.1.37.jar /opt/softs/hive3.1.2/lib/

3、guava-*.jar包

(1)双击再打开一个bigdata03的窗口

(2)在新窗口中跳转至lib目录

cd /opt/softs/hadoop3.1.3/share/hadoop/common/lib/

(3)把高版本的jar包拷贝到hive 的lib目录下

cp guava-27.0-jre.jar /opt/softs/hive3.1.2/lib

(4)执行成功后回到原窗口输入ll检查

(5)将原来版本的加上bak后缀,设置为不可用

mv guava-19.0.jar guava-19.0.jar.bak

四、修改配置文件

跳转到conf文件目录下

cd /opt/softs/hive3.1.2/conf/

1、添加hive-site.xml

将hive-site.xml上传至/opt/softs/hive3.1.2/conf目录下

tips:注意先修改文件中的密码

2、添加core-site.xml

打开hadoop中core-site.xml文件

vim /opt/softs/hadoop3.1.3/etc/hadoop/core-site.xml

在文件末端加入如下配置:

  <!-- 安装hive时 在hadoop中core-site.xml中添加如下配置 -->
    <!-- 从任何主机登录的root用户可以伪装成一个属于任何group的用户 -->   

   <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

3、将修改同步到另外两台虚拟机

跳转目录,记得另外两个节点也要打开

cd /opt/softs/hadoop3.1.3/etc/hadoop/

同步文件 

scp core-site.xml root@bigdata04:/opt/softs/hadoop3.1.3/etc/hadoop/
scp core-site.xml root@bigdata05:/opt/softs/hadoop3.1.3/etc/hadoop/

五、初始化Hive的元数据库

1、开启hadoop集群

参考:分布式hadoop集群访问web服务_hadoop配置web-CSDN博客开启节点

2、开启MySQL并连接数据库

systemctl start mysqld
mysql -uroot -p

(输入刚刚设置后的mysql密码)

3、再打开一个新窗口,跳转到hive的bin目录下,并输入如下代码

cd /opt/softs/hive3.1.2/bin
schematool -dbType mysql -initSchema

4、在原虚拟机上查看数据库

show databases;

use hive;
show tables;

5、关闭hdfs的安全模式

hadoop dfsadmin -safemode leave

此时,可输入hive启动,Ctrl+c退出


网站公告

今日签到

点亮在社区的每一天
去签到