我们从前面的文章可以了解到DataNode主要是做数据存储的,这篇文章我们介绍下DataNode节点的工作机制。流程如下:
1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上,包括两个⽂件,⼀个是数据本身,⼀ 个是元数据包括数据块的⻓度,块数据的校验和,以及时间戳。 2. DataNode启动后向namenode注册,通过后,周期性(1⼩时)的向namenode上报所有 的块信息。(dfs.blockreport.intervalMsec)。 3. ⼼跳是每3秒⼀次,⼼跳返回结果带有namenode给该datanode的命令如复制块数据到另 ⼀台机器,或删除某个数据块。如果超过10分钟没有收到某个datanode的⼼跳,则认为 该节点不可⽤。 4. 集群运⾏中可以安全加⼊和退出⼀些机器。
还没有评论,来说两句吧...