热文hive常用命令（二）常用交互命令

这里我们再介绍下hive常用的交互命令，这个主要是指的是对于一些业务sql的操作，具体如下：功能说明命令不进入hive的交互窗口执行sqlbin/hive -e "sql语句"执行脚本中sql语句bin/hive -...

RaeHive系列2023-06-121019 阅读0 评论

hive常用命令（一）启动类命令

这里我们再介绍下hive常用的一些命令，本文主要是介绍启动类相关的命令，首先来个表格：功能说明命令启动hiveserver2服务bin/hiveserver2启动beelinebin/beeline连接hiveser...

RaeHive系列2023-06-12799 阅读0 评论

热文Zookeeper常用命令（三）四字母命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之四字母命令，具体如下：命令功能说明例子confzk服务配置的详细信息echo conf | nc 127.0.0.1 2...

Raehadoop系列2023-06-121034 阅读0 评论

热文Zookeeper常用命令（二）基本操作命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之基本命令，具体如下：功能说明命令脚本当前znode中所包含的内容ls /创建普通节点(前面是节点的路径，后面是值）cre...

Raehadoop系列2023-06-121073 阅读0 评论

热文Zookeeper常用命令（一）启动类命令

在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之启动命令，具体如下：功能说明命令脚本启动zookeeper服务zkServer.sh start查看zookeeper状...

Raehadoop系列2023-06-121219 阅读0 评论

热文hadoop常用命令（三）yarn命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之yarn命令，具体如下：功能说明命令查看正在运行的yarn任务列表yarn application -list appIDkill掉...

Raehadoop系列2023-06-121111 阅读0 评论

热文hadoop常用命令（二）hdfs/dfs命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之hdfs/dfs命令，具体如下：功能说明命令创建目录hdfs dfs -mkdir -p /data/flink显示目录hdfs d...

Raehadoop系列2023-06-121373 阅读0 评论

热文hadoop常用命令（一）启动类命令

在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之启动类命令，具体如下：功能说明命令脚本启动hdfs集群sbin/start-dfs.sh启动yarnsbin/start-yarn....

Raehadoop系列2023-06-121118 阅读0 评论

热文Mapreduce实战案例（五）实现自定义排序

本文我们介绍下使用mapreduce进行排序的实战案例。在实际的场景中，排序是一个硬性的需求，所以我们在mapreduce中需要来实现这个排序功能。在mapreduce中，排序会发生在map阶段，因此这里的话，我们需...

Raehadoop系列2023-05-301270 阅读0 评论

热文Mapreduce实战案例（四）自定义实现输入类型

在上一篇文章《Mapreduce实战案例（三）实现reduce端join》中，map里面我们是先把数据转化成了json，然后再转换成string，然后再把string放入到text类型里面进行向reduce传递的，如...

Raehadoop系列2023-05-291359 阅读0 评论

热文Mapreduce实战案例（三）实现reduce端join

在上一篇文章《Mapreduce实战案例（二）实现map端join》我们实现了在map端进行join，这篇文章的话，我们演示下实现在reduce端做join。在reduce端进行join的时候，我们主要实现的逻辑如下...

Raehadoop系列2023-05-291093 阅读0 评论

热文Mapreduce实战案例（二）实现map端join

在常见的数据分析中，我们经常会使用到join相关的数据关联性操作，所以对于传统型的mysql来说，我们只需要编写相关的join的sql语句即可，例如下面我们列举一个学校和学生的数据关系的场景：学校的数据如下：{"sc...

Raehadoop系列2023-05-231127 阅读0 评论

Mapreduce实战案例（一）实现wordcount单词计数

在前面的文字我们介绍了很多hadoop相关的内容，这篇文字我们来演示下编写mapreduce的实战案例。这里实现的第一个案例是大家非常熟悉的wordcount计数程序，总体来说比较简单。下面我们直接演示：一、创建一个...

Raehadoop系列2023-05-23958 阅读0 评论

Hadoop系列（三十）Yarn任务的提交流程介绍

上一篇文章《Hadoop系列（二十九）Yarn集群架构介绍》我们介绍了yarn集群的架构，这篇文章我们介绍下yarn任务提交的整个流程。首先来看看这个yarn提交的流程图：这里的话，整个client向yarn提交一个...

Raehadoop系列2023-05-22808 阅读0 评论

热文Hadoop系列（二十九）Yarn集群架构介绍

在前面的文字《Hadoop系列（二十八）Yarn介绍及yarn的优点》我们简单的介绍了一下yarn，这篇文字我们来介绍下yarn的集群架构，首先来一张yarn的图：从上图可以看出，整个yarn的集群架构包含如下的几个...

Raehadoop系列2023-05-221203 阅读0 评论