Hadoop中如何修改namenode与datanode之间的心跳通信时间? Hadoop中如何修改namenode与datanode之间的心跳通信时间?... 帅平 /大数据 /2023-02-10 /1 评论 /254 阅读
Hadoop的NameNode和DataNode是如何通信的?怎么判断掉线? Hadoop的NameNode和DataNode是如何通信的?怎么判断掉线?... 帅平 /大数据 /2023-02-10 /2 评论 /264 阅读
Hadoop系列(十八)DataNode的工作机制 我们从前面的文章可以了解到DataNode主要是做数据存储的,这篇文章我们介绍下DataNode节点的工作机制。流程如下:1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上,包括两个⽂件,⼀个是数据... Rae /hadoop系列 /2023-02-10 /0 评论 /243 阅读
Hadoop系列(十七)NameNode故障恢复 在前面介绍了我们的SecondaryNameNode是辅助管理NameNode的,那么如果NameNode出现故障,那我们如何在使用SecondaryNameNode的fsimage和edits文件进行恢复呢?下面我... Rae /hadoop系列 /2023-02-10 /0 评论 /209 阅读
Hadoop系列(十六)secondarynameNode如何管理Fsimage与Edits⽂件 在前面我们介绍了元数据信息都是存储在fsimage和edits文件里面的,那么secondarynameNode是如何管理触发Fsimage与Edits⽂件的修改的。过程如下:1. secnonaryNN通... Rae /hadoop系列 /2023-02-10 /0 评论 /223 阅读
Hadoop系列(十五)FSImage与edits详解 在hdfs分布式文件系统中,所有的元数据信息都是保存在FsImage与Edits这两个文件中的,这两个文件记录了所有的数据的元数据信息。在生产环境中我们可以自定义配置,如下:1)配置文件为:hdfs-site.xml... Rae /hadoop系列 /2023-02-10 /0 评论 /283 阅读
Hadoop系列(十四)SecondaryNameNode的工作机制 上一篇《Hadoop系列(十三)NameNode的工作机制》介绍了NameNode的工作机制,这篇文章我们介绍下SecondaryNameNode的工作机制。如下:1. secondary nam... Rae /hadoop系列 /2023-02-10 /0 评论 /366 阅读
Hadoop系列(十三)NameNode的工作机制 hdfs的是一个主从结构的,因此作为master节点的角色就是NameNode,本文介绍下NameNode的工作机制,如下:1. 第⼀次启动namenode格式化后,创建fsimage和edits⽂件。如果... Rae /hadoop系列 /2023-02-10 /0 评论 /217 阅读
Hadoop系列(十二)HDFS如何从DataNode上读取文件数据? 前面《Hadoop系列(九)HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程,这篇文章我们介绍下从DataNode上读取文件数据的过程,如图:整个读取文件过程如下:1.... Rae /hadoop系列 /2023-02-10 /0 评论 /335 阅读