热文Zookeeper常用命令（三）四字母命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之四字母命令，具体如下：命令功能说明例子confzk服务配置的详细信息echo conf | nc 127.0.0.1 2...

Raehadoop系列2023-06-121031 阅读0 评论

热文Zookeeper常用命令（二）基本操作命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之基本命令，具体如下：功能说明命令脚本当前znode中所包含的内容ls /创建普通节点(前面是节点的路径，后面是值）cre...

Raehadoop系列2023-06-121069 阅读0 评论

热文Zookeeper常用命令（一）启动类命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之启动命令，具体如下：功能说明命令脚本启动zookeeper服务zkServer.sh start查看zookeeper状...

Raehadoop系列2023-06-121218 阅读0 评论

热文hadoop常用命令（三）yarn命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之yarn命令，具体如下：功能说明命令查看正在运行的yarn任务列表yarn application -list appIDkill掉...

Raehadoop系列2023-06-121111 阅读0 评论

热文hadoop常用命令（二）hdfs/dfs命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之hdfs/dfs命令，具体如下：功能说明命令创建目录hdfs dfs -mkdir -p /data/flink显示目录hdfs d...

Raehadoop系列2023-06-121372 阅读0 评论

热文hadoop常用命令（一）启动类命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之启动类命令，具体如下：功能说明命令脚本启动hdfs集群sbin/start-dfs.sh启动yarnsbin/start-yarn....

Raehadoop系列2023-06-121118 阅读0 评论

热文Mapreduce实战案例（五）实现自定义排序

本文我们介绍下使用mapreduce进行排序的实战案例。在实际的场景中，排序是一个硬性的需求，所以我们在mapreduce中需要来实现这个排序功能。在mapreduce中，排序会发生在map阶段，因此这里的话，我们需...

Raehadoop系列2023-05-301269 阅读0 评论

热文Mapreduce实战案例（四）自定义实现输入类型

在上一篇文章《Mapreduce实战案例（三）实现reduce端join》中，map里面我们是先把数据转化成了json，然后再转换成string，然后再把string放入到text类型里面进行向reduce传递的，如...

Raehadoop系列2023-05-291357 阅读0 评论

热文Mapreduce实战案例（三）实现reduce端join

在上一篇文章《Mapreduce实战案例（二）实现map端join》我们实现了在map端进行join，这篇文章的话，我们演示下实现在reduce端做join。在reduce端进行join的时候，我们主要实现的逻辑如下...

Raehadoop系列2023-05-291093 阅读0 评论

热文Mapreduce实战案例（二）实现map端join

在常见的数据分析中，我们经常会使用到join相关的数据关联性操作，所以对于传统型的mysql来说，我们只需要编写相关的join的sql语句即可，例如下面我们列举一个学校和学生的数据关系的场景：学校的数据如下：{"sc...

Raehadoop系列2023-05-231127 阅读0 评论

Mapreduce实战案例（一）实现wordcount单词计数

在前面的文字我们介绍了很多hadoop相关的内容，这篇文字我们来演示下编写mapreduce的实战案例。这里实现的第一个案例是大家非常熟悉的wordcount计数程序，总体来说比较简单。下面我们直接演示：一、创建一个...

Raehadoop系列2023-05-23958 阅读0 评论

Hadoop系列（三十）Yarn任务的提交流程介绍

上一篇文章《Hadoop系列（二十九）Yarn集群架构介绍》我们介绍了yarn集群的架构，这篇文章我们介绍下yarn任务提交的整个流程。首先来看看这个yarn提交的流程图：这里的话，整个client向yarn提交一个...

Raehadoop系列2023-05-22807 阅读0 评论

热文Hadoop系列（二十九）Yarn集群架构介绍

在前面的文字《Hadoop系列（二十八）Yarn介绍及yarn的优点》我们简单的介绍了一下yarn，这篇文字我们来介绍下yarn的集群架构，首先来一张yarn的图：从上图可以看出，整个yarn的集群架构包含如下的几个...

Raehadoop系列2023-05-221203 阅读0 评论

热文Hadoop安装配置篇（三）配置FairScheduler公平调度器

在hadoop集群里面，我们一般会使用yarn做资源管理器，所以这里的话，我们需要为hadoop集群配置调度器，在hadoop上，有三种调度器，分别是：FIFO 先进先出调度器 Capacity 容量调度器 Fair...

Raehadoop系列2023-04-181094 阅读0 评论

热文Hadoop安装配置篇（二）配置hadoop关闭掉hdfs权限验证

在hadoop集群环境里面，我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs，例如：spark要向hdfs写入文件，我们可能使用不同的用户操作hdfs的api，等等。在hadoop中，默认是开启了权限...

Raehadoop系列2023-04-171748 阅读0 评论