上一篇《Hadoop系列(二十二)简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务,这篇文章我们介绍下mapreduce运行时的框架结构。

在mapreduce提交到hadoop计算集群之后,整个运行时的框架结构主要由这三类进程组成:
1、MR AppMaster
2、Map Task
3、Reduce Task
这三种进程的作用分别是:
1、MR AppMaster
负责整个程序的过程调度及状态协调;
2、MapTask
负责map阶段的整个数据处理流程;
3、ReduceTask
ReduceTask:负责reduce阶段的整个数据处理流程。
真正的成长, 源于内心的觉醒和不懈的努力, 你的信念和行动, 将铺就通往更好的自己的道路
-- 展开阅读全文 --
还没有评论,来说两句吧...