热文Hadoop系列（二十九）Yarn集群架构介绍

在前面的文字《Hadoop系列（二十八）Yarn介绍及yarn的优点》我们简单的介绍了一下yarn，这篇文字我们来介绍下yarn的集群架构，首先来一张yarn的图：从上图可以看出，整个yarn的集群架构包含如下的几个...

Raehadoop系列2023-05-221525 阅读0 评论

热文Hadoop安装配置篇（三）配置FairScheduler公平调度器

在hadoop集群里面，我们一般会使用yarn做资源管理器，所以这里的话，我们需要为hadoop集群配置调度器，在hadoop上，有三种调度器，分别是：FIFO 先进先出调度器 Capacity 容量调度器 Fair...

Raehadoop系列2023-04-181407 阅读0 评论

热文分布式调度系统Apache DolphinScheduler系列（六）使用DolphinScheduler执行mapreduce任务

上一篇文章《分布式调度系统Apache DolphinScheduler系列（五）配置资源管理的文件存储》我们介绍了文件存储的配置，这篇文章我们演示下把mapreduce的job任务提交到DolphinSchedul...

RaeDolphin系列2023-04-182182 阅读0 评论

热文Hadoop安装配置篇（二）配置hadoop关闭掉hdfs权限验证

在hadoop集群环境里面，我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs，例如：spark要向hdfs写入文件，我们可能使用不同的用户操作hdfs的api，等等。在hadoop中，默认是开启了权限...

Raehadoop系列2023-04-172017 阅读0 评论

热文Hadoop安装配置篇（一）Hadoop3.3.5单机版安装教程

最近为了做DolphinScheduler的演示，因此需要一套大数据的环境，因此记录下这些大数据组件的安装。首先我们需要安装一个hadoop的环境，这里我们使用的hadoop版本是3.3.5，因此在192.168.3...

Raehadoop系列2023-04-142665 阅读0 评论

热文Hadoop系列（二十八）Yarn介绍及yarn的优点

在hadoop2.x的版本开始，引入了yarn框架。这个框架主要是一个通用的资源管理和任务调度的平台，从hadoop2.x的版本开始，所有的mapreduce任务都运行在yarn上。当然在yarn上支持运行多种计算框...

Raehadoop系列2023-04-031235 阅读0 评论