HDFS的组成
1)NN
管理HDFS名称空间
副本策略
数据块映射
处理客户端请求
2)DN
存储实际的数据块
执行数据块读写操作
3)2NN
定时给NN做备份镜像,但缺少最新的日志,因此不能作NN的副本。HA解决了这一问题。
HDFS特点
1)优点
高容错
适合处理大数据
可构建在廉价机器上
2)缺点
不适合低延时数据访问
不适合存储小文件
文件不支持随机修改,只能追加
HDFS的数据块
一个文件在HDFS中都是分成数据块,以多个副本形式存储在HDFS中。数据块大小默认为128MB,数据块大小取决于磁盘读写速率。