Hadoop系列(十二)HDFS如何从DataNode上读取文件数据? 前面《Hadoop系列(九)HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程,这篇文章我们介绍下从DataNode上读取文件数据的过程,如图:整个读取文件过程如下:1.... Rae /hadoop系列 /2023-02-10 /0 评论 /333 阅读
Hadoop系列(十一)HDFS的副本存储选择之机架感知 hdfs副本存储的时候,默认是3个副本,那么hdfs集群是如何判断哪些副本存储在哪些节点上呢,这里就会提到我们的机架感知。在hadoop中,可以使用如下的命令来查看拓扑图:./hdfs dfsadmin&n... Rae /hadoop系列 /2023-02-10 /0 评论 /231 阅读
Hadoop系列(十)HDFS的节点距离 在Hadoop集群里面,所有的DataNode节点都是hdfs系统存储数据用,为了使存储数据和读取数据尽可能快,所以在网络拓扑里面两两节点之间都会建立联系,那么两个节点之间距离越近,则我们称为彼此近邻。那这个距离是怎... Rae /hadoop系列 /2023-02-10 /0 评论 /235 阅读
Hadoop系列(九)HDFS的数据文件是如何被写入DataNode? 前面我们介绍了hdfs是分布式文件存储系统,所以那么数据文件是如何存储到DataNode节点的呢,这里我们先上一张图看看:这里我们从网上找的这张图片,完整的展示了整个数据文件是如何被写入到datanode节点上的。下... Rae /hadoop系列 /2023-02-10 /0 评论 /376 阅读
Hadoop系列(八)HDFS的副本 在hdfs文件存储中,每一个block块都会有副本,默认的副本数是3,这里我们也可以直接改,修改的文件还是hdfs-core.xml。文件的位置在:${hadoop_home}/etc/hadoop/hdfs-cor... Rae /hadoop系列 /2023-02-09 /0 评论 /354 阅读
Hadoop系列(七)HDFS的block块大小配置 HDFS 将所有的⽂件全部抽象成为 block 块来进⾏存储,不管⽂件⼤⼩,全部⼀视同仁都是以 block 块的统⼀⼤⼩和形式进⾏存储,⽅便我们的分布式⽂件系统对⽂件的管理。所有的⽂件都是以 block 块的⽅式存放... Rae /hadoop系列 /2023-02-09 /0 评论 /391 阅读
Hadoop系列(六)Hdfs的安全模式 安全模式是hadoop的⼀种保护机制,⽤于保证集群中的数据块的安全性 。当集群启动的时候,会⾸先进⼊安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是3... Rae /hadoop系列 /2023-02-09 /0 评论 /200 阅读
Hadoop系列(五)Hdfs运维之配置文件限额 在一个hadoop集群里面,我们经常会涉及到多个用户在操作整个集群,因为对于用户之间,我们经常会把这些用户分开,不允许a用户操作b用户的文件,同时像linux一样,每一个非root用户只能在自己的目录里面存放文件。但... Rae /hadoop系列 /2023-02-09 /0 评论 /227 阅读
Hadoop系列(四)Hdfs的常用操作命令 hdfs是一个分布式文件系统,所以在hadoop中,我们可以直接在命令行里面像linux操作文件一样的方式操作hdfs系统上的文件。下面我们来分别演示下。特别说明1、在操作hadoop的时候我们可以使用两种命令,分别... Rae /hadoop系列 /2023-02-09 /0 评论 /215 阅读
Hadoop系列(三)Hdfs的特性有哪些? 在前面我们已经介绍了hdfs系统就是一个文件存储系统,这篇文章我们介绍下hdfs的特性。一、主从架构HDFS 采⽤ master/slave 架构。⼀般⼀个 HDFS 集群是有⼀个 Namenode 和⼀定数⽬的Da... Rae /hadoop系列 /2023-02-09 /0 评论 /191 阅读