如何在Ubuntu上安装sqoop组件

发布于:2025-03-19 ⋅ 阅读:(10) ⋅ 点赞:(0)

安装环境

虚拟机系统: Ubuntu
Hadoop 安装模式:伪分布式(单节点)
安装包:
Sqoop 1.4.7

 安装步骤:

(1)解压 sqoop安装包,将安装包移动到/usr/local/路径下

tar -zxvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

 

   要根据自己的实际目录情况进行改动

sudo mv sqoop-1.4.7.bin_hadoop /usr/local/sqoop-1.4.7

 (2)  配置环境变量

vim软件安装命令:sudo apt install vim

sudo  vim  /etc/profile
sudo  vi   /etc/profile

 在最下面添加下面代码

SQOOP_HOME=/usr/local/sqoop-1.4.7
PATH=$SQOOP_HOME/bin:$PATH
export SQOOP_HOME PATH

更新环境变量

source /etc/profile

(3) sqoop的配置

根据自己的实际目录进行改动

进入/usr/local/sqoop-1.4.7/conf/目录下

复制sqoop-env-template.sh 文件复制一份并重命名为 sqoop-env.sh

打开编辑sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.10.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.10.1

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/hbase-2.4.14

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive-3.1.3

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/zookeeper-3.4.12S

 (4)获取mysql连接器,在下面的连接里面下载驱动(下载对应版本

如何安装mysl驱动程序jar包-CSDN博客https://blog.csdn.net/weixin_66547608/article/details/138187737?ops_request_misc=%257B%2522request%255Fid%2522%253A%252295b7ade54e029c83875c62a0d5f49cdd%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=95b7ade54e029c83875c62a0d5f49cdd&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-1-138187737-null-null.nonecase&utm_term=mysql%E9%A9%B1%E5%8A%A8&spm=1018.2226.3001.4450

        解压安装文件

tar -zxvf mysql-connector-j-8.0.31.tar.gz
将解压出来的文件夹( /mysql-connector-j-8.0.31 )下的 mysql-connector-j- 8.0.31.jar 移动至 Sqoop 安装路径( /usr/local/sqoop-1.4.7 )下的 lib 文件夹
可以手动,也可以使用命令
cp /home/hadoop/mysql-connector-j-8.0.31/mysql-connector-j-8.0.31.jsr  /usr/local/sqoop-1.4.7/lib/

测试

将HDFS中的emp数据导入到MySQL中,进入MySQL Shell,创建sqoop数据库,

在ubuntu上安装mysql(在线安装需要)_ubantu 安装mysql-CSDN博客

代码:

进入数据库

mysql -uroot -p
Create database sqoop;

Use sqoop;

create table emp_from_hdfs(EMPNO INT,ENAME VARCHAR(20),JOB VARCHAR(20),MGB INT,HIREDATE VARCHAR(20),SRL INT,COMM INT,DEPTNO INT);

sqoop export \
--connect jdbc:mysql://127.0.0.1/sqoop \
--username root \
--password 123456 \
--table emp_from_hdfs \
--m 1 \
--export-dir /usr/data/input/emp.csv \
--input-fields-terminated-by ','

查看表

进入mysql数据库

use sqoop
select * from emp_from_hdfs


网站公告

今日签到

点亮在社区的每一天
去签到