上一篇《Hadoop系列(二十二)简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务,这篇文章我们介绍下mapreduce运行时的框架结构。
在mapreduce提交到hadoop计算集群之后,整个运行时的框架结构主要由这三类进程组成:
1、MR AppMaster 2、Map Task 3、Reduce Task
这三种进程的作用分别是:
1、MR AppMaster
负责整个程序的过程调度及状态协调;
2、MapTask
负责map阶段的整个数据处理流程;
3、ReduceTask
ReduceTask:负责reduce阶段的整个数据处理流程。
还没有评论,来说两句吧...