【并行分布计算】Hadoop单机分布搭建

Hadoop单机分布搭建

环境：VMware Workstation虚拟机+centos7镜像+MobaXterm远程连接工具

1. 为了使机器都处于同一个局域网中，先要修改机器的ip地址分配方式为固定ip，并为其固定分配一个ip地址。

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

问题：修改ip地址后，网络无法正常链接

解决方法：查看VMware上的DHCP设置中起始IP地址和结束IP地址范围，以及对应网关的IP地址，防止设置IP地址时选错IP地址范围。

修改后网络链接正常：

2.修改主机名，方便辨认机器

[root@localhost ~]# hostnamectl set-hostname hadoop01

修改主机名后需要重启虚拟机：

3. 配置网络映射 /etc/hosts

[root@hadoop01 ~]# vi  /etc/hosts

4. 重启网络服务

[root@hadoop01 ~]# service  network  restart

5.安装ssh服务

（1）查看是否安装ssh

[root@hadoop01 ~]# rpm  -qa  |  grep  ssh

（2）启动ssh服务

[root@hadoop01 ~]# service  sshd  start

6.关闭防火墙

问题：

解决方法：centos7后是使用的基于iptable的systemctl stop firewalld

[root@hadoop01 ~]# yum install iptables-services

[root@hadoop01 ~]# systemctl stop firewalld

7.安装jdk

（1）[root@hadoop01 software]# tar -zxvf jdk-8u161-linux-x64.tar.gz

（2）配置环境变量

[root@hadoop01 servers]# vi /etc/profile

（3）使配置文件生效

[root@hadoop01 servers]# source /etc/profile

（4）查看是否配置成功

[root@hadoop01 servers]# java -version

8. 安装hadoop

[root@hadoop01 software]# tar -zxvf hadoop-2.7.6.tar.gz

（1）修改配置文件

[root@hadoop01 software]# vi /etc/profile

（2）使配置文件生效

[root@hadoop01 software]# source /etc/profile

（3）查看是否配置成功

[root@hadoop01 software]# hadoop version

9.测试本地模式

（1）创建input文件夹作为方要测试的输入文件

（2）将hadoop目录里的etc/hadoop目录下的所有.xml结尾的文件复制到input里

[root@hadoop01 hadoop-2.7.6]# cp ./etc/hadoop/*.xml ./input

例子一:grep

该例子是搜索input文件夹内所有文件，找到以dfs开始后面跟着字母a-z的单词，并输出在output里。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output ‘dfs[a-z.]+’

例子二: wordcount

该例子是搜索input文件夹内所有文件，统计所有单词出现的次数，并输出在output/wordcount文件夹里。

[root@hadoop01 hadoop-2.7.6]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output/wordcount