大数据实验一,Hadoop安装及使用

发布于:2024-04-03 ⋅ 阅读:(60) ⋅ 点赞:(0)

目录

一.实验内容

二.实验目的

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

2、配置java环境

3.Hadoop的安装与配置

4、修改四个配置文件:

5、格式化HDFS的NameNode:

6、启动Hadoop

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取


一.实验内容

Hadoop安装使用:

1)在PC机上以伪分布式模式安装Hadoop;

2)访问Web界面查看Hadoop信息。

二.实验目的

1、熟悉Hadoop的安装流程。

2、熟悉Hadoop访问Web界等基本操作。

三.实验过程截图及说明

1、安装SSH,并配置SSH无密码登录

(1)

(2)切换目录:

(3)生成SSH公钥和私钥。-t参数告诉ssh-keygen生成的是RSA类型的密钥,rsa是RSA的一种实现方式,常用于SSH的公钥认证。

(4)将你的公钥文件内容添加到 authorized_keys文件的末尾,这样只有你拥有的公钥能够被识别,从而实现SSH的免密码登录:

(5)可以看到,没有输入密码也直接登录了,免密配置成功:

2、配置java环境

(1)切换目录:

(2)创建一个文件夹:

(3)在官网上下载好jdk的压缩包后,进行解压,解压到刚才创建的文件夹:

(4)在bashrc文件里开头处加上如下配置:

(5)使用source命令使配置立即生效,再查看java版本,出现了版本号,java配置成功:

3.Hadoop的安装与配置

(1)在官网下载好Hadoop的压缩包,进行解压,解压到/usr/local文件夹下:

(2)查看Hadoop的版本,安装成功:

4、修改四个配置文件:

使用vim来编辑文件内容:

sudo vim ./etc/hadoop/core-site.xml:

sudo vim ./etc/hadoop/hdfs-site.xml :

sudo vim ./etc/hadoop/mapred-site.xml:

sudo vim ./etc/hadoop/yarn -site.xml:

5、格式化HDFS的NameNode:

出现Storeage directory ...可以看到namenode的格式化已经完成:

6、启动Hadoop

执行jps可以看到,列出了“NameNode”,“DataNode”,“SecondaryNameNode”进程,说明Hadoop已经成功启动:

7、在浏览器输入 http://localhost:9870 查看WEB页面【注意,有些人是50070端口,即  http://localhost:50070】:

8、完整报告获取地址在开头,挂载资源里。也可联系q:3226627884 获取