上一篇《Hadoop系列（十三）NameNode的工作机制》介绍了NameNode的工作机制，这篇文章我们介绍下SecondaryNameNode的工作机制。如下：1. secondary namenode询问 na...
RaeV管理员
文章 1946 篇 | 评论 3720 次
作者 Rae 发布的文章
hdfs的是一个主从结构的，因此作为master节点的角色就是NameNode，本文介绍下NameNode的工作机制，如下：1. 第⼀次启动namenode格式化后，创建fsimage和edits⽂件。如果不是第⼀次...
前面《Hadoop系列（九）HDFS的数据文件是如何被写入DataNode?》我们介绍了文件数据写入到DataNode的过程，这篇文章我们介绍下从DataNode上读取文件数据的过程，如图：整个读取文件过程如下：1....
hdfs副本存储的时候，默认是3个副本，那么hdfs集群是如何判断哪些副本存储在哪些节点上呢，这里就会提到我们的机架感知。在hadoop中，可以使用如下的命令来查看拓扑图：./hdfs dfsadmin -print...
在Hadoop集群里面，所有的DataNode节点都是hdfs系统存储数据用，为了使存储数据和读取数据尽可能快，所以在网络拓扑里面两两节点之间都会建立联系，那么两个节点之间距离越近，则我们称为彼此近邻。那这个距离是怎...
前面我们介绍了hdfs是分布式文件存储系统，所以那么数据文件是如何存储到DataNode节点的呢，这里我们先上一张图看看：这里我们从网上找的这张图片，完整的展示了整个数据文件是如何被写入到datanode节点上的。下...
Hadoop系列（八）HDFS的副本
在hdfs文件存储中，每一个block块都会有副本，默认的副本数是3，这里我们也可以直接改，修改的文件还是hdfs-core.xml。文件的位置在：${hadoop_home}/etc/hadoop/hdfs-cor...
Hadoop系列（七）HDFS的block块大小配置
HDFS 将所有的⽂件全部抽象成为 block 块来进⾏存储，不管⽂件⼤⼩，全部⼀视同仁都是以 block 块的统⼀⼤⼩和形式进⾏存储，⽅便我们的分布式⽂件系统对⽂件的管理。所有的⽂件都是以 block 块的⽅式存放...
Hadoop系列（六）Hdfs的安全模式
安全模式是hadoop的⼀种保护机制，⽤于保证集群中的数据块的安全性 。当集群启动的时候，会⾸先进⼊安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数（即参数dfs.replication）是3...
Hadoop系列（五）Hdfs运维之配置文件限额
在一个hadoop集群里面，我们经常会涉及到多个用户在操作整个集群，因为对于用户之间，我们经常会把这些用户分开，不允许a用户操作b用户的文件，同时像linux一样，每一个非root用户只能在自己的目录里面存放文件。但...
Hadoop系列（四）Hdfs的常用操作命令
hdfs是一个分布式文件系统，所以在hadoop中，我们可以直接在命令行里面像linux操作文件一样的方式操作hdfs系统上的文件。下面我们来分别演示下。特别说明1、在操作hadoop的时候我们可以使用两种命令，分别...
Hadoop系列（三）Hdfs的特性有哪些？
在前面我们已经介绍了hdfs系统就是一个文件存储系统，这篇文章我们介绍下hdfs的特性。一、主从架构HDFS 采⽤ master/slave 架构。⼀般⼀个 HDFS 集群是有⼀个 Namenode 和⼀定数⽬的Da...
热文Hadoop系列（二）Hdfs介绍
Hadoop 分布式系统框架中，⾸要的基础功能就是⽂件系统，在 Hadoop 中使⽤FileSystem 这个抽象类来表示我们的⽂件系统，这个抽象类下⾯有很多⼦实现类，究竟使⽤哪⼀种，需要看我们具体的实现类，在我们实...
做过大数据行业的同学，应该都对hadoop不陌生，曾经2011年左右，Hadoop在国内开始火爆，至今已经走过了10多个年头，但是他目前仍是大家做大数据相关不可或缺的一部分。所以从这篇文章开始我们介绍下hadoop相...
如果电商网站的订单数过多，我们一般会想到 分库分表 解决策略。没问题，这个方向是对的。但是查询维度很多1、买家，查询 我的订单 列表，需要根据 buyer_id 来查询2、查看订单详情，需要根据 order_id 来...