Hadoop系列（二十七）Mapreduce的shuffle介绍
shuffle 是 Mapreduce 的核⼼，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。⼀般把从 Map 产⽣输出开始到 Reduce 取得数据作为输⼊之前的过程称作 shuffle。如...
Rae
Hadoop系列（二十六）Mapreduce的ReduceTask编码及执行流程
上一篇文章《Hadoop系列（二十五）Mapreduce的MapTask编码及执行流程》我们介绍了mapTask相关的编码及执行流程，这篇我们介绍下reduceTask的编码和执行流程。一、ReduceTask的编码...
Hadoop系列（二十五）Mapreduce的MapTask编码及执行流程
前面我们介绍了mapreduce的几个阶段对应的内容，这篇文章我们介绍下MapTask的编码及MapTask的执行流程。一、MapTask的编码在map阶段做maptask编码的话，示例框架如下：package&nb...
Hadoop系列（二十四）Mapreduce的三个阶段
在mapreduce的运行中，主要会涉及到3个阶段，分别是：1、map阶段2、shuffle阶段3、reduce阶段那么这三个阶段主要做了哪些操作呢？一、Map阶段map阶段主要分为2个步骤，分别是：1、设置...
Hadoop系列（二十三）Mapreduce任务运行时的框架结构
上一篇《Hadoop系列（二十二）简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务，这篇文章我们介绍下mapreduce运行时的框架结构。在mapreduce提交到had...
Hadoop系列（二十二）简单实现一个统计单词个数的Mapreduce任务
在前面我们介绍了mapreduce是一个分而治之的分布式计算框架，那么我们再编写程序的时候就会涉及到两部分，一部分是map，一部分是Reduce。下面我们简单的写一个用于单词个数统计的map job和 reduce...
Hadoop系列（二十一）Mapreduce介绍
在hadoop中除了hdfs之外，还有另外一个非常重要的组件就是Mapreduce。这是一个分而治之的分布式计算框架。在hadoop进程中，主要与ResourceManager和NodeManager进程相关。备注：...
Hadoop系列（二十）Hdfs的回收站
在hdfs上我们会涉及到删除文件的操作，索然有副本，但是删除文件的操作也会导致副本被删除，因此hdfs提供有回收站的功能，这样被删除的文件都会自动存储到回收站里面，后期想要恢复的话，可以直接从回收站里面进行恢复即可。...
Hadoop系列（十九）Hdfs的快照创建与恢复
在hdfs上，所有的数据文件都会有备份的操作，主要是避免文件被删除。但是万一出现下面的情况怎么办呢？原本规划的/home/user/school/这个目录下是专门用来收集学校相关的数据，此时业务中有人误操作了，把交通...
Hadoop系列（十八）DataNode的工作机制
我们从前面的文章可以了解到DataNode主要是做数据存储的，这篇文章我们介绍下DataNode节点的工作机制。流程如下：1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上，包括两个⽂件，⼀个是数据...
