热文Hadoop系列(二十九)Yarn集群架构介绍 在前面的文字《Hadoop系列(二十八)Yarn介绍及yarn的优点》我们简单的介绍了一下yarn,这篇文字我们来介绍下yarn的集群架构,首先来一张yarn的图:从上图可以看出,整个yarn的集群架构包含如下的几个... Raehadoop系列2023-05-221326 阅读0 评论
热文Hadoop安装配置篇(三)配置FairScheduler公平调度器 在hadoop集群里面,我们一般会使用yarn做资源管理器,所以这里的话,我们需要为hadoop集群配置调度器,在hadoop上,有三种调度器,分别是:FIFO 先进先出调度器 Capacity 容量调度器 Fair... Raehadoop系列2023-04-181222 阅读0 评论
热文分布式调度系统Apache DolphinScheduler系列(六)使用DolphinScheduler执行mapreduce任务 上一篇文章《分布式调度系统Apache DolphinScheduler系列(五)配置资源管理的文件存储》我们介绍了文件存储的配置,这篇文章我们演示下把mapreduce的job任务提交到DolphinSchedul... RaeDolphin系列2023-04-181916 阅读0 评论
热文Mapreduce任务提交到hadoop集群的时候报错:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 把mapreduce的任务提交到yarn集群的时候,执行一直失败,直接报错: 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 错误信息如下图... 帅平大数据2023-04-181357 阅读1 评论
在第三方调度器里面使用hadoop jar命令提交mapreduce,yarn上看不到任务怎么办? 使用第三方的调度器提交mapreduce任务,提交的命令是hadoop jar xxxx,在调度器里面可以看到任务执行成功了,但是在yarn的8088 UI上看到这个job怎么办?... 帅平大数据2023-04-18947 阅读1 评论
热文Hadoop安装配置篇(二)配置hadoop关闭掉hdfs权限验证 在hadoop集群环境里面,我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs,例如:spark要向hdfs写入文件,我们可能使用不同的用户操作hdfs的api,等等。在hadoop中,默认是开启了权限... Raehadoop系列2023-04-171866 阅读0 评论
热文Hadoop安装配置篇(一)Hadoop3.3.5单机版安装教程 最近为了做DolphinScheduler的演示,因此需要一套大数据的环境,因此记录下这些大数据组件的安装。首先我们需要安装一个hadoop的环境,这里我们使用的hadoop版本是3.3.5,因此在192.168.3... Raehadoop系列2023-04-142508 阅读0 评论
热文Hadoop系列(二十八)Yarn介绍及yarn的优点 在hadoop2.x的版本开始,引入了yarn框架。这个框架主要是一个通用的资源管理和任务调度的平台,从hadoop2.x的版本开始,所有的mapreduce任务都运行在yarn上。当然在yarn上支持运行多种计算框... Raehadoop系列2023-04-031127 阅读0 评论