Hadoop系列(十四)SecondaryNameNode的工作机制 上一篇《Hadoop系列(十三)NameNode的工作机制》介绍了NameNode的工作机制,这篇文章我们介绍下SecondaryNameNode的工作机制。如下:1. secondary nam... Rae /hadoop系列 /2023-02-10 /0 评论 /376 阅读
Hadoop系列(十三)NameNode的工作机制 hdfs的是一个主从结构的,因此作为master节点的角色就是NameNode,本文介绍下NameNode的工作机制,如下:1. 第⼀次启动namenode格式化后,创建fsimage和edits⽂件。如果... Rae /hadoop系列 /2023-02-10 /0 评论 /224 阅读
Hadoop系列(十二)HDFS如何从DataNode上读取文件数据? 前面《Hadoop系列(九)HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程,这篇文章我们介绍下从DataNode上读取文件数据的过程,如图:整个读取文件过程如下:1.... Rae /hadoop系列 /2023-02-10 /0 评论 /352 阅读
Hadoop系列(十一)HDFS的副本存储选择之机架感知 hdfs副本存储的时候,默认是3个副本,那么hdfs集群是如何判断哪些副本存储在哪些节点上呢,这里就会提到我们的机架感知。在hadoop中,可以使用如下的命令来查看拓扑图:./hdfs dfsadmin&n... Rae /hadoop系列 /2023-02-10 /0 评论 /240 阅读
Hadoop系列(十)HDFS的节点距离 在Hadoop集群里面,所有的DataNode节点都是hdfs系统存储数据用,为了使存储数据和读取数据尽可能快,所以在网络拓扑里面两两节点之间都会建立联系,那么两个节点之间距离越近,则我们称为彼此近邻。那这个距离是怎... Rae /hadoop系列 /2023-02-10 /0 评论 /243 阅读
Hadoop系列(九)HDFS的数据文件是如何被写入DataNode? 前面我们介绍了hdfs是分布式文件存储系统,所以那么数据文件是如何存储到DataNode节点的呢,这里我们先上一张图看看:这里我们从网上找的这张图片,完整的展示了整个数据文件是如何被写入到datanode节点上的。下... Rae /hadoop系列 /2023-02-10 /0 评论 /397 阅读
Hadoop系列(八)HDFS的副本 在hdfs文件存储中,每一个block块都会有副本,默认的副本数是3,这里我们也可以直接改,修改的文件还是hdfs-core.xml。文件的位置在:${hadoop_home}/etc/hadoop/hdfs-cor... Rae /hadoop系列 /2023-02-09 /0 评论 /368 阅读
Hadoop系列(七)HDFS的block块大小配置 HDFS 将所有的⽂件全部抽象成为 block 块来进⾏存储,不管⽂件⼤⼩,全部⼀视同仁都是以 block 块的统⼀⼤⼩和形式进⾏存储,⽅便我们的分布式⽂件系统对⽂件的管理。所有的⽂件都是以 block 块的⽅式存放... Rae /hadoop系列 /2023-02-09 /0 评论 /405 阅读
Hadoop系列(六)Hdfs的安全模式 安全模式是hadoop的⼀种保护机制,⽤于保证集群中的数据块的安全性 。当集群启动的时候,会⾸先进⼊安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是3... Rae /hadoop系列 /2023-02-09 /0 评论 /213 阅读
Hadoop系列(五)Hdfs运维之配置文件限额 在一个hadoop集群里面,我们经常会涉及到多个用户在操作整个集群,因为对于用户之间,我们经常会把这些用户分开,不允许a用户操作b用户的文件,同时像linux一样,每一个非root用户只能在自己的目录里面存放文件。但... Rae /hadoop系列 /2023-02-09 /0 评论 /237 阅读