Hadoop习题01

发布于:2022-12-20 ⋅ 阅读:(768) ⋅ 点赞:(0)

1、Hadoop 2.x中,DataNode中默认的块配置的大小是()MB

A、128

B、64

C、256

D、1025

2、下列关于Hadoop架构组件描述错误的是()

A、NameNode管理多个DataNode节点以及客户端请求

B、Client是用户提交计算作业的入口

C、MySQL和YARN也是Hadoop生态的常用的生产环境必要组件

D、DataNode负责处理客户端计算作业的读写请求

3、假设有Hadoop系统中有DataNode节点1、2、3,且DataNode节点1、2、3上有Block1,Client请求上传文件file1至Hadoop系统,下面描述该Hadoop系统写流程错误的是()

A、Client第一次请求NameNode上传文件file1

B、当NameNode返回可以上传后,Client第二个请求会请求file1上传到哪个DataNode节点上

C、当Client第三次请求时,DataNode数据管道搭建完毕后,会由NameNode应答Client

D、当Client第三次请求时,DataNode数据管道搭建完毕后,会由多个DataNode节点等依次逐级应答Client

4、下列关于MapReduce过程描述错误的是()

A、在进行map计算之前,MapReduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务

B、map过程中map函数效率相对好控制,而且一般map操作都是本地化操作也就是在数据存储节点上进行

C、需要计算每一个map的结果需要发到哪个reduce端,partition数等于mapper数。默认采用HashPartition

D、merge操作会合并所有的本地文件,并且该文件会有一个对应的索引文件

5、下列关于MapReduce过程描述错误的是()

A、reducer启动数据copy线程,copy线程copy的数据先放到内部缓冲区,之后溢写

B、在一个reducer端先将多个map端的数据溢写到本地磁盘,之后再将多个文件合并成一个文件

C、执行完reduce任务,最后的结果留在hdfs上

D、merge阶段最后会生成一个文件,将此文件转移到内存中,rebalance阶段结束

答案:ACCCD

解析:

1、A.正确,Hadoop2.0中,HDFS默认的块大小是128MB,所以,比如2MB,7MB或9MB的文件就认为是小文件;参数由为dfs.block.size定义

B.错误

C.错误

D.错误

2、A.正确,NameNode负责调度管理DataNode以及客户端请求

B.正确,Client端是用户提交作业的入口

C.错误,MySQL非Hadoop生态必要组件;YARN常用于管理Hadoop集群的资源

D.正确,DataNode底层管理与Hadoop文件系统的交互,读写

3、A.正确,请求目的是询问是否可以上传文件file1

B.正确,拿到具体上传DataNode节点信息

C.错误,写完后会由DataNode依次逐级应答Client

D.正确

4、A.正确,MapReduce会根据默认设置将文件进行分片

B.正确

C.错误,partition数等于reducer数

D.正确,merge操作会合并所有的本地文件,且生成本地文件对应的索引文件

5、A.正确

B.正确,最后返回给Client前reducer会溢写合并最后返回结果

C.正确,任务结果会存储在hdfs中

D.错误,shuffle阶段结束