热文Hadoop安装配置篇(一)Hadoop3.3.5单机版安装教程 最近为了做DolphinScheduler的演示,因此需要一套大数据的环境,因此记录下这些大数据组件的安装。首先我们需要安装一个hadoop的环境,这里我们使用的hadoop版本是3.3.5,因此在192.168.3... Raehadoop系列2023-04-142415 阅读0 评论
热文Hadoop系列(二十八)Yarn介绍及yarn的优点 在hadoop2.x的版本开始,引入了yarn框架。这个框架主要是一个通用的资源管理和任务调度的平台,从hadoop2.x的版本开始,所有的mapreduce任务都运行在yarn上。当然在yarn上支持运行多种计算框... Raehadoop系列2023-04-031032 阅读0 评论
热文Hadoop系列(二十七)Mapreduce的shuffle介绍 shuffle 是 Mapreduce 的核⼼,它分布在 Mapreduce 的 map 阶段和 reduce 阶段。⼀般把从 Map 产⽣输出开始到 Reduce 取得数据作为输⼊之前的过程称作 shuffle。如... Raehadoop系列2023-02-161315 阅读0 评论
Hadoop系列(二十六)Mapreduce的ReduceTask编码及执行流程 上一篇文章《Hadoop系列(二十五)Mapreduce的MapTask编码及执行流程》我们介绍了mapTask相关的编码及执行流程,这篇我们介绍下reduceTask的编码和执行流程。一、ReduceTask的编码... Raehadoop系列2023-02-16960 阅读0 评论
Hadoop系列(二十五)Mapreduce的MapTask编码及执行流程 前面我们介绍了mapreduce的几个阶段对应的内容,这篇文章我们介绍下MapTask的编码及MapTask的执行流程。一、MapTask的编码在map阶段做maptask编码的话,示例框架如下:package co... Raehadoop系列2023-02-16836 阅读0 评论
Hadoop系列(二十四)Mapreduce的三个阶段 在mapreduce的运行中,主要会涉及到3个阶段,分别是:1、map阶段 2、shuffle阶段 3、reduce阶段那么这三个阶段主要做了哪些操作呢?一、Map阶段map阶段主要分为2个步骤,分别是:1、设置 I... Raehadoop系列2023-02-14722 阅读0 评论
Hadoop系列(二十三)Mapreduce任务运行时的框架结构 上一篇《Hadoop系列(二十二)简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务,这篇文章我们介绍下mapreduce运行时的框架结构。在mapreduce提交到had... Raehadoop系列2023-02-13754 阅读0 评论
Hadoop系列(二十二)简单实现一个统计单词个数的Mapreduce任务 在前面我们介绍了mapreduce是一个分而治之的分布式计算框架,那么我们再编写程序的时候就会涉及到两部分,一部分是map,一部分是Reduce。下面我们简单的写一个用于单词个数统计的map job和 reduce ... Raehadoop系列2023-02-13876 阅读0 评论
Hadoop系列(二十一)Mapreduce介绍 在hadoop中除了hdfs之外,还有另外一个非常重要的组件就是Mapreduce。这是一个分而治之的分布式计算框架。在hadoop进程中,主要与ResourceManager和NodeManager进程相关。备注:... Raehadoop系列2023-02-13734 阅读0 评论
Hadoop系列(二十)Hdfs的回收站 在hdfs上我们会涉及到删除文件的操作,索然有副本,但是删除文件的操作也会导致副本被删除,因此hdfs提供有回收站的功能,这样被删除的文件都会自动存储到回收站里面,后期想要恢复的话,可以直接从回收站里面进行恢复即可。... Raehadoop系列2023-02-10964 阅读0 评论
热文Hadoop系列(十九)Hdfs的快照创建与恢复 在hdfs上,所有的数据文件都会有备份的操作,主要是避免文件被删除。但是万一出现下面的情况怎么办呢?原本规划的/home/user/school/这个目录下是专门用来收集学校相关的数据,此时业务中有人误操作了,把交通... Raehadoop系列2023-02-101251 阅读0 评论
Hadoop系列(十八)DataNode的工作机制 我们从前面的文章可以了解到DataNode主要是做数据存储的,这篇文章我们介绍下DataNode节点的工作机制。流程如下:1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上,包括两个⽂件,⼀个是数据本身,⼀ ... Raehadoop系列2023-02-10732 阅读0 评论
Hadoop系列(十七)NameNode故障恢复 在前面介绍了我们的SecondaryNameNode是辅助管理NameNode的,那么如果NameNode出现故障,那我们如何在使用SecondaryNameNode的fsimage和edits文件进行恢复呢?下面我... Raehadoop系列2023-02-10710 阅读0 评论
Hadoop系列(十六)secondarynameNode如何管理Fsimage与Edits⽂件 在前面我们介绍了元数据信息都是存储在fsimage和edits文件里面的,那么secondarynameNode是如何管理触发Fsimage与Edits⽂件的修改的。过程如下:1. secnonaryNN通知Name... Raehadoop系列2023-02-10730 阅读0 评论
Hadoop系列(十五)FSImage与edits详解 在hdfs分布式文件系统中,所有的元数据信息都是保存在FsImage与Edits这两个文件中的,这两个文件记录了所有的数据的元数据信息。在生产环境中我们可以自定义配置,如下:1)配置文件为:hdfs-site.xml... Raehadoop系列2023-02-10755 阅读0 评论