Hadoop系列（二十）Hdfs的回收站
在hdfs上我们会涉及到删除文件的操作，索然有副本，但是删除文件的操作也会导致副本被删除，因此hdfs提供有回收站的功能，这样被删除的文件都会自动存储到回收站里面，后期想要恢复的话，可以直接从回收站里面进行恢复即可。...
Rae
Hadoop系列（十九）Hdfs的快照创建与恢复
在hdfs上，所有的数据文件都会有备份的操作，主要是避免文件被删除。但是万一出现下面的情况怎么办呢？原本规划的/home/user/school/这个目录下是专门用来收集学校相关的数据，此时业务中有人误操作了，把交通...
Hadoop系列（十八）DataNode的工作机制
我们从前面的文章可以了解到DataNode主要是做数据存储的，这篇文章我们介绍下DataNode节点的工作机制。流程如下：1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上，包括两个⽂件，⼀个是数据...
Hadoop系列（十七）NameNode故障恢复
在前面介绍了我们的SecondaryNameNode是辅助管理NameNode的，那么如果NameNode出现故障，那我们如何在使用SecondaryNameNode的fsimage和edits文件进行恢复呢？下面我...
Hadoop系列（十六）secondarynameNode如何管理Fsimage与Edits⽂件
在前面我们介绍了元数据信息都是存储在fsimage和edits文件里面的，那么secondarynameNode是如何管理触发Fsimage与Edits⽂件的修改的。过程如下：1. secnonaryNN通...
Hadoop系列（十五）FSImage与edits详解
在hdfs分布式文件系统中，所有的元数据信息都是保存在FsImage与Edits这两个文件中的，这两个文件记录了所有的数据的元数据信息。在生产环境中我们可以自定义配置，如下：1）配置文件为:hdfs-site.xml...
Hadoop系列（十四）SecondaryNameNode的工作机制
上一篇《Hadoop系列（十三）NameNode的工作机制》介绍了NameNode的工作机制，这篇文章我们介绍下SecondaryNameNode的工作机制。如下：1. secondary nam...
Hadoop系列（十三）NameNode的工作机制
hdfs的是一个主从结构的，因此作为master节点的角色就是NameNode，本文介绍下NameNode的工作机制，如下：1. 第⼀次启动namenode格式化后，创建fsimage和edits⽂件。如果...
Hadoop系列（十二）HDFS如何从DataNode上读取文件数据？
前面《Hadoop系列（九）HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程，这篇文章我们介绍下从DataNode上读取文件数据的过程，如图：整个读取文件过程如下：1....
Hadoop系列（十一）HDFS的副本存储选择之机架感知
hdfs副本存储的时候，默认是3个副本，那么hdfs集群是如何判断哪些副本存储在哪些节点上呢，这里就会提到我们的机架感知。在hadoop中，可以使用如下的命令来查看拓扑图：./hdfs dfsadmin&n...
