IT虾米网

HDFS、YARN和MapReduce简介详解

shasha 2018年08月17日 大数据 134 0

Hadoop

Hadoop是一个Apache旗下的分布式系统基础架构。

Hadoop1由HDFS和MapReduce构成;Hadoop2框架核心设计有HDFS、MapReduce、YARN。

Hadoop2主要改进了以下四部分:YARN、NameNode HA、HDFS federation、Hadoop RPC序列化扩展性。详细解释如下:

YARN是Hadoop2中的资源管理系统,它可以使Hadoop2可以运行更多的处理框架;

NameNode HA提高了Hadoop的可靠性,当action NameNode宕机时,可立即切换到standby NameNode提供服务;

HDFS federation让多个NameNode共同管理DataNode,增加了Hadoop的集群规模;

Hadoop RPC序列化扩展性的提高,是指将数据类型独立可插拔。


HDFS

HDFS是一个分布式文件系统,具有高容错性,提供高吞吐率的数据访问,能够有效处理海量数据集。

它支持超大文件,能够检测并应对硬件故障,采用流式数据访问,并使用了简化了的一致性模型。但它不适合低延迟环境,大量小文件的读写,并且不支持多用户写入以及随机修改文件。

HDFS由NameNode和DataNode构成;NameNode保存HDFS的名字空间,任何修改操作都记录在NameNode中;DataNode把每个HDFS数据块(HDFS处理单元,默认128MB)存储在本地文件系统的单独文件中,以此来存储HDFS数据。

HDFS的读写流程如下图所示:


MapReduce

MapReduce是面向大型数据处理的并行计算模型和方法。

其工作流程如下:

MapReduce的map端输出作为输入传递给reduce端,并按键排序的过程称为shuffle,其过程如图:




Hadoop1中的MapReduce有以下四大缺点:

JobTracker同时负责资源管理和作业控制,导致其扩展性差;

MapReduce采用Master/Slave结构存在的单点故障问题会使整个集群不可用,所以它可靠性差;

MapReduce资源分配基于槽位,两种Map槽位和Reduce槽位工作时间不同却不可共享资源,降低了资源的利用率;

它无法支持多种计算框架,只能使用基于磁盘的离线计算,不支持内存计算、流式计算和迭代式计算。


YARN

YARN是Hadoop2中的通用资源管理系统,为上层应用提供统一资源管理调度,改正了Hadoop1中MapReduce的缺点,其结构如下:

YARN的组件有ResourceManager、ApplicationMaster、NodeManager和Container,其采用的仍然是Master/Slave结构(ResourceManager是Master,NodeManager是Slave)。

其工作流程图如下:


发布评论

分享到:

IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

String类的intern()方法详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。