Hadoop平台搭建

发布于:2025-07-20 ⋅ 阅读:(12) ⋅ 点赞:(0)

一、创建虚拟机

1.按虚拟机向导创建第一台虚拟机

2. 克隆其余两台虚拟机

(1)克隆

先关闭创建好的第一台虚拟机

找到第一台虚拟机开始克隆

 

此操作重复两次 ,完成两台虚拟机创建

(2)设置新的ip地址和mac地址

克隆的两台虚拟机操作一致 

二、MobaXterm远程连接虚拟机

开启虚拟机

1.查询ip地址

ip addr

2.打开MobaXterm进行连接

修改远程的虚拟机名字 

三、关闭防火墙

三台虚拟机同时操作

1.查看防火墙状态 

systemctl status firewalld.service

 

2.关闭防火墙

systemctl stop firewalld.service

3.禁用防火墙 

目的:防止下次打开虚拟机时,防火墙再次开启

systemctl disable firewalld.service

停止和禁用后需查看当前防火墙状态 

 四、关闭NetworkManager服务

1.查看NetworkManager服务

systemctl status NetworkManager

2.关闭NetworkManager服务

systemctl stop NetworkManager

3.禁用NetworkManager服务

目的:防止下次打开虚拟机时,NetworkManager服务再次开启

systemctl disable NetworkManager

停止和禁用后需查看当前NetworkManager服务状态 

五、修改主机名

克隆出的虚拟机改变主机名

hostnamectl set-hostname 新主机名

 重启后生效

systemctl restart network

六、配置静态ip

1.修改网卡配置文件 

网卡配置文件路径为/etc/sysconfig/network-scripts

cd /etc/sysconfig/network-scripts

(1)查看系统默认的网卡配置文件名

ls

(2)编辑网卡配置文件

vi /etc/sysconfig/network-cripts/ifcfg-ens33

编辑后为 

i进入编辑模式

编辑后esc退出编辑模式

:wq保存修改并退出文件 

2.重启网络

systemctl restart network

3.测试网络是否连通

ping www.baidu.com

七、ip地址和主机名的映射

目的:使用主机名就可锁定虚拟机(不必须使用ip地址)

1.映射

使用root用户修改/etc/hosts文件 —— 删除原来内容(dd),写入内容

        注:每台虚拟机都要进行

vi /etc/hosts
192.168.48.128 master2
192.168.48.129 salve3
192.168.48.130 slave4

i进入编辑模式

编辑后esc退出编辑模式

:wq保存修改并退出文件 

2.测试是否能正确解析出ip地址

ping master2

ping slave3

ping slave4

 八、免密登录设置

1.生成公钥密钥对

        注:每台虚拟机都要设置

(1)生成密钥对

ssh-keygen

按enter键确认(三下) 

 (2)查看是否生成

在root目录下,查看所有文件(包括隐藏文件)

ls -a

进入.ssh隐藏目录

cd .ssh

查看目录下文件

ls

分别为公钥(id_ras.pub)和私钥(id_ras) 

2.将秘钥拷贝到其他虚拟机

ssh-copy-id master2

ssh-copy-id slave3

 

ssh-copy-id slave4

 

 3.测试虚拟机见是否能免密登录

注:免密登录其他虚拟机后需要exit退回原虚拟机

ssh master2

ssh slave3

 

ssh slave4

 

九、配置JDK环境

1.下载JDK安装包和hadoop3.1.4

2.为压缩包和软件包专门创建两个文件夹

cd /opt
mkdir software
mkdir module

 

3.将JDK安装包和hadoop3.1.4上传到压缩包文件夹下

查看是否上传成功

ls

4.在/opt/software下解压JDK安装包和hadoop3.1.4到/opt/module

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /opt/module
tar -zxvf hadoop-3.1.4.tar.gz -C /opt/module

查看是否解压完成

5.配置环境变量

(1) 打开环境变量配置文件

 vi /etc/profile.d/my_env.sh

(2)将内容填入

#jdk环境变量
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
#hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

i进入编辑模式

编辑后esc退出编辑模式

:wq保存修改并退出文件 

(3)刷新环境变量

 source /etc/profile

(4) 测试JDK环境变量的配置

java -version

(5) 测试hadoop环境变量的配置

hadoop version

(6) 将第一台虚拟机的JDK安装包和hadoop3.1.4软件包以及环境变量配置文件传给其余两台虚拟机

scp -r jdk1.8.0_161/ slave3:/opt/module/
scp -r jdk1.8.0_161/ slave4:/opt/module/
scp -r hadoop-3.1.4/ slave3:/opt/module/
scp -r hadoop-3.1.4/ slave4:/opt/module/
scp -r /etc/profile.d/my_env.sh slave3:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh slave4:/etc/profile.d/

(7)刷新环境变量生效 

source /etc/profile


网站公告

今日签到

点亮在社区的每一天
去签到