HDFS原理

it2023-10-06  65

HDFS上传原理

1)客户端发起上传请求。

2)NN响应,可以上传。

3)文件是分块上传的,客户端向NN请求上传第1个块 。

4)NN返回3个DN。(备份默认是3,可以改。)

5)客户端向第1个DN写,第1个DN边存边向第2个DN写,第2个DN边存变向第3个DN写。

6)同理操作第2、3、...个块。

7)客户端告知NN上传结束。


HDFS下载原理

1)客户端发起下载请求。

2)NN返回元数据。

3)客户端得知第1个块在哪三台DN上,它只从1台下载,另外2台是备胎。

4)同理下载第2、3、...个块。

5)客户端告知NN下载结束。


2NN工作原理

1)NN中有镜像和日志文件。

2)每隔一段时间,NN把镜像和日志文件拷贝给2NN。

3)2NN通过日志文件对镜像文件操作,然后再返回给NN。

4)NN在2NN对其备份时依旧在操作,并生成日志。

所以2NN不能完全作NN的备份,因为镜像中缺了最新的日志操作,要想完全备份需使用HA特性,开启2个NN。


DN工作原理

1)DN会向NN注册。

2)每隔1小时,DN会告知NN块的信息。

3)每隔3秒,DN的心跳机制,告诉NN还活着,有时还会捎带DN要的返回值。

4)如果NN10分钟没收到DN的心跳,NN认为该DN挂了,会重新调整、备份、分配。

最新回复(0)