大数据-HDFS客户端_NFS挂载到windows本地

发布于:2025-02-11 ⋅ 阅读:(8) ⋅ 点赞:(0)

目录

HDFS NFS Gateway

配置NFS

分析

实操

启动NFS功能

在windows挂载HDFS文件系统


HDFS NFS Gateway

通过该功能,我们就可以将整个HDFS文件系统挂载到windows系统的一个网络位置的硬盘,然后我们就可以像操作普通硬盘那样,看到里面的内容,以及对内容进行相关的操作

配置NFS

分析

关于192.168.88.1

它是电脑虚拟网卡VMnet8的IP:

可以看到VMnet8的ip地址配置成了192.168.88.1


其实,我们自己的电脑和虚拟机的通讯,都是通过192.168.88.1连接的,即:自己电脑上的网卡,访问到VMnet8,再通过VMnet8访问到某个Linux虚拟机并发送网络连接,所以我们并不是直连虚拟机,而是被VMnet8中转了一下。

为什么是88.1而不是66.1呢?

这取决于我们之前配置虚拟机时所配置的网络地址:

当我们把子网ip设置为192.168.88.0,网关ip设置为192.168.88.2时,就会自动把虚拟网卡VMnet8的ip设置为192.168.88.1

实操

使用vim编辑core-site.xml

cd /export/server/hadoop/etc/hadoop/
vim core-site.xml

在core-site.xml内新增如下两项

 <property>
  <name>hadoop.proxyuser.hadoop.groups</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
 </property>

配置完后,保存并退出

在hdfs-site.xml中新增如下项

 <property>
  <name>nfs.superuser</name>
  <value>hadoop</value>
 </property>
 <property>
  <name>nfs.dump.dir</name>
  <value>/tmp/.hdfs-nfs</value>
 </property>
 <property>
  <name>nfs.exports.allowed.hosts</name>
  <value>192.168.88.1 rw</value>
 </property>

配置完后,保存并退出

启动NFS功能

1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3

scp core-site.xml hdfs-site.xml node2:`pwd`/
scp core-site.xml hdfs-site.xml node3:`pwd`/

2.关闭Hadoop HDFS集群

stop-dfs.sh

3.停止系统的NFS相关进程

hadoop用户没有权限执行这个操作,所以需要先切换到root用户(用exit回退到root用户)

exit

关闭系统nfs

systemctl stop nfs

关闭nfs开机自启

systemctl disable nfs

卸载系统自带的rpcbind(这里停用rpcbind是没用的,必须卸载。如果停用,它也会被系统的其他进程再次自动启动)

yum remove -y rpcbind

为什么要关闭系统自带的nfs并卸载系统自带的rpcbind?

因为我们需要用Hadoop自带的这些功能,所以要把系统自带的这些功能关闭和卸载。

启动portmap(HDFS自带的rpcbind功能)(必须以root执行)

hdfs --daemon start portmap

启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行)

切换回hadoop用户

su - hadoop

再执行

hdfs --daemon start nfs3

启动HDFS集群

start-dfs.sh

检查NFS是否正常

/ 192.168.88.1的意思是:运行这个ip连接到HDFS的文件系统的根目录上

在windows挂载HDFS文件系统

net use X: \\192.168.88.101\!

注意:如果是windows11升级成专业版,电脑重启后,要重新打开node1的nfs功能,否则会找不到网络名

注意:在windows中是没有办法修改文件的内容的,虽然之前说支持追加,但是在windows笔记本中追加内容,保存后会被视作修改,所以没办法修改,只能另存为。