Hadoop系列(十八)DataNode的工作机制 我们从前面的文章可以了解到DataNode主要是做数据存储的,这篇文章我们介绍下DataNode节点的工作机制。流程如下:1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上,包括两个⽂件,⼀个是数据本身,⼀ ... Raehadoop系列2023-02-10759 阅读0 评论
Hadoop系列(十七)NameNode故障恢复 在前面介绍了我们的SecondaryNameNode是辅助管理NameNode的,那么如果NameNode出现故障,那我们如何在使用SecondaryNameNode的fsimage和edits文件进行恢复呢?下面我... Raehadoop系列2023-02-10733 阅读0 评论
Hadoop系列(十六)secondarynameNode如何管理Fsimage与Edits⽂件 在前面我们介绍了元数据信息都是存储在fsimage和edits文件里面的,那么secondarynameNode是如何管理触发Fsimage与Edits⽂件的修改的。过程如下:1. secnonaryNN通知Name... Raehadoop系列2023-02-10760 阅读0 评论
Hadoop系列(十五)FSImage与edits详解 在hdfs分布式文件系统中,所有的元数据信息都是保存在FsImage与Edits这两个文件中的,这两个文件记录了所有的数据的元数据信息。在生产环境中我们可以自定义配置,如下:1)配置文件为:hdfs-site.xml... Raehadoop系列2023-02-10789 阅读0 评论
Hadoop系列(十四)SecondaryNameNode的工作机制 上一篇《Hadoop系列(十三)NameNode的工作机制》介绍了NameNode的工作机制,这篇文章我们介绍下SecondaryNameNode的工作机制。如下:1. secondary namenode询问 na... Raehadoop系列2023-02-10995 阅读0 评论
Hadoop系列(十三)NameNode的工作机制 hdfs的是一个主从结构的,因此作为master节点的角色就是NameNode,本文介绍下NameNode的工作机制,如下:1. 第⼀次启动namenode格式化后,创建fsimage和edits⽂件。如果不是第⼀次... Raehadoop系列2023-02-10742 阅读0 评论
热文Hadoop系列(十二)HDFS如何从DataNode上读取文件数据? 前面《Hadoop系列(九)HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程,这篇文章我们介绍下从DataNode上读取文件数据的过程,如图:整个读取文件过程如下:1.... Raehadoop系列2023-02-101101 阅读0 评论
Hadoop系列(十一)HDFS的副本存储选择之机架感知 hdfs副本存储的时候,默认是3个副本,那么hdfs集群是如何判断哪些副本存储在哪些节点上呢,这里就会提到我们的机架感知。在hadoop中,可以使用如下的命令来查看拓扑图:./hdfs dfsadmin -print... Raehadoop系列2023-02-10848 阅读0 评论
Hadoop系列(十)HDFS的节点距离 在Hadoop集群里面,所有的DataNode节点都是hdfs系统存储数据用,为了使存储数据和读取数据尽可能快,所以在网络拓扑里面两两节点之间都会建立联系,那么两个节点之间距离越近,则我们称为彼此近邻。那这个距离是怎... Raehadoop系列2023-02-10851 阅读0 评论
Hadoop系列(九)HDFS的数据文件是如何被写入DataNode? 前面我们介绍了hdfs是分布式文件存储系统,所以那么数据文件是如何存储到DataNode节点的呢,这里我们先上一张图看看:这里我们从网上找的这张图片,完整的展示了整个数据文件是如何被写入到datanode节点上的。下... Raehadoop系列2023-02-10981 阅读0 评论
热文Hadoop系列(八)HDFS的副本 在hdfs文件存储中,每一个block块都会有副本,默认的副本数是3,这里我们也可以直接改,修改的文件还是hdfs-core.xml。文件的位置在:${hadoop_home}/etc/hadoop/hdfs-cor... Raehadoop系列2023-02-091077 阅读1 评论
热文Hadoop系列(七)HDFS的block块大小配置 HDFS 将所有的⽂件全部抽象成为 block 块来进⾏存储,不管⽂件⼤⼩,全部⼀视同仁都是以 block 块的统⼀⼤⼩和形式进⾏存储,⽅便我们的分布式⽂件系统对⽂件的管理。所有的⽂件都是以 block 块的⽅式存放... Raehadoop系列2023-02-091598 阅读0 评论