HDFS的主要架构/特点/应用场景

HDFS（HadoopDistribu     te   dFileSystem），是一个适合运行在通用硬件（commodityhardware）上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统（GFS），是GFS的一个简化和开源版本。

HDFS的主要架构

HDFSClient（客户端）：从NameNode获取文件的位置信息，再从DataNode读取或者写入数据。此外，client在数据存储时，负责文件的分割；

NameNode（元数据节点）：管理名称空间、数据块（Block）映射信息、配置副本策略、处理客户端读写请求；

DataNode（存储节点）：负责执行实际的读写操作，存储实际的数据块，同一个数据块会被存储在多个DataNode上

SecondaryNameNode：定期合并元数据，推送给NameNode，在紧急情况下，可辅助NameNode的HA恢复。

HDFS的特点（VsGFS）

分块更大，每个数据块默认128MB；

不支持并发，同一时刻只允许一个写入者或追加者;

过程一致性，写入数据的传输顺序与最终写入顺序一致;

MasterHA，2.X版本支持两个NameNode，（分别处于Ac  TI ve和Standby状态），故障切换时间一般几十秒到数分钟

HDFS适合的应用场景：

适用于大文件、     大数据   处理，处理数据达到GB、TB、甚至PB级别的数据。

适合流式文件访问，一次写入，多次读取。

文件一旦写入不能修改，只能追加。

HDFS不适合的场景：

低延时数据访问。

小文件存储

并发写入、文件随机修改
责任编辑人：CC