Zookeeper常用命令(三)四字母命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之四字母命令,具体如下:命令功能说明例子confzk服务配置的详细信息echo conf | nc 127.0.0.1 2... Raehadoop系列2023-06-12639 阅读0 评论
Zookeeper常用命令(二)基本操作命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之基本命令,具体如下:功能说明命令脚本当前znode中所包含的内容ls /创建普通节点(前面是节点的路径,后面是值)cre... Raehadoop系列2023-06-12645 阅读0 评论
Zookeeper常用命令(一)启动类命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之启动命令,具体如下:功能说明命令脚本启动zookeeper服务zkServer.sh start查看zookeeper状... Raehadoop系列2023-06-12768 阅读0 评论
hadoop常用命令(三)yarn命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之yarn命令,具体如下:功能说明命令查看正在运行的yarn任务列表yarn application -list appIDkill掉... Raehadoop系列2023-06-12662 阅读0 评论
hadoop常用命令(二)hdfs/dfs命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之hdfs/dfs命令,具体如下:功能说明命令创建目录hdfs dfs -mkdir -p /data/flink显示目录hdfs d... Raehadoop系列2023-06-12790 阅读0 评论
hadoop常用命令(一)启动类命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之启动类命令,具体如下:功能说明命令脚本启动hdfs集群sbin/start-dfs.sh启动yarnsbin/start-yarn.... Raehadoop系列2023-06-12654 阅读0 评论
Mapreduce实战案例(五)实现自定义排序 本文我们介绍下使用mapreduce进行排序的实战案例。在实际的场景中,排序是一个硬性的需求,所以我们在mapreduce中需要来实现这个排序功能。在mapreduce中,排序会发生在map阶段,因此这里的话,我们需... Raehadoop系列2023-05-30675 阅读0 评论
Mapreduce实战案例(四)自定义实现输入类型 在上一篇文章《Mapreduce实战案例(三)实现reduce端join》中,map里面我们是先把数据转化成了json,然后再转换成string,然后再把string放入到text类型里面进行向reduce传递的,如... Raehadoop系列2023-05-29794 阅读0 评论
Mapreduce实战案例(三)实现reduce端join 在上一篇文章《Mapreduce实战案例(二)实现map端join》我们实现了在map端进行join,这篇文章的话,我们演示下实现在reduce端做join。在reduce端进行join的时候,我们主要实现的逻辑如下... Raehadoop系列2023-05-29702 阅读0 评论
Mapreduce实战案例(二)实现map端join 在常见的数据分析中,我们经常会使用到join相关的数据关联性操作,所以对于传统型的mysql来说,我们只需要编写相关的join的sql语句即可,例如下面我们列举一个学校和学生的数据关系的场景:学校的数据如下:{&qu... Raehadoop系列2023-05-23767 阅读0 评论
Mapreduce实战案例(一)实现wordcount单词计数 在前面的文字我们介绍了很多hadoop相关的内容,这篇文字我们来演示下编写mapreduce的实战案例。这里实现的第一个案例是大家非常熟悉的wordcount计数程序,总体来说比较简单。下面我们直接演示:一、创建一个... Raehadoop系列2023-05-23580 阅读0 评论
Hadoop系列(三十)Yarn任务的提交流程介绍 上一篇文章《Hadoop系列(二十九)Yarn集群架构介绍》我们介绍了yarn集群的架构,这篇文章我们介绍下yarn任务提交的整个流程。首先来看看这个yarn提交的流程图:这里的话,整个client向yarn提交一个... Raehadoop系列2023-05-22488 阅读0 评论
Hadoop系列(二十九)Yarn集群架构介绍 在前面的文字《Hadoop系列(二十八)Yarn介绍及yarn的优点》我们简单的介绍了一下yarn,这篇文字我们来介绍下yarn的集群架构,首先来一张yarn的图:从上图可以看出,整个yarn的集群架构包含如下的几个... Raehadoop系列2023-05-22610 阅读0 评论
Hadoop安装配置篇(三)配置FairScheduler公平调度器 在hadoop集群里面,我们一般会使用yarn做资源管理器,所以这里的话,我们需要为hadoop集群配置调度器,在hadoop上,有三种调度器,分别是:FIFO 先进先出调度器Capacity ... Raehadoop系列2023-04-18606 阅读0 评论
热文Hadoop安装配置篇(二)配置hadoop关闭掉hdfs权限验证 在hadoop集群环境里面,我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs,例如:spark要向hdfs写入文件,我们可能使用不同的用户操作hdfs的api,等等。在hadoop中,默认是开启了权限... Raehadoop系列2023-04-171090 阅读0 评论
热文Hadoop安装配置篇(一)Hadoop3.3.5单机版安装教程 最近为了做DolphinScheduler的演示,因此需要一套大数据的环境,因此记录下这些大数据组件的安装。首先我们需要安装一个hadoop的环境,这里我们使用的hadoop版本是3.3.5,因此在192.168.3... Raehadoop系列2023-04-141618 阅读0 评论
Hadoop系列(二十八)Yarn介绍及yarn的优点 在hadoop2.x的版本开始,引入了yarn框架。这个框架主要是一个通用的资源管理和任务调度的平台,从hadoop2.x的版本开始,所有的mapreduce任务都运行在yarn上。当然在yarn上支持运行多种计算框... Raehadoop系列2023-04-03593 阅读0 评论
HLL_UNION是agg表的列属性,unique不支持