上一篇《Hadoop系列(二十二)简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务,这篇文章我们介绍下mapreduce运行时的框架结构。

在mapreduce提交到hadoop计算集群之后,整个运行时的框架结构主要由这三类进程组成:
1、MR AppMaster
2、Map Task
3、Reduce Task
这三种进程的作用分别是:
1、MR AppMaster
负责整个程序的过程调度及状态协调;
2、MapTask
负责map阶段的整个数据处理流程;
3、ReduceTask
ReduceTask:负责reduce阶段的整个数据处理流程。
职场就是一场游戏,但游戏不是人生的全部。别太纠结眼前的得失,也别总被焦虑绑住。努力让自己积累更多底气吧,未来的你一定会感谢现在的自己。因为那个时候,你会发现,人生的主动权,终于掌握在自己手里了。
-- 展开阅读全文 --
还没有评论,来说两句吧...