Zookeeper常用命令（三）四字母命令 在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之四字母命令，具体如下：命令功能说明例子confzk服务配置的详细信息echo conf | nc 127.0.0.1 2... Raehadoop系列2023-06-12724 阅读0 评论
Zookeeper常用命令（二）基本操作命令 在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之基本命令，具体如下：功能说明命令脚本当前znode中所包含的内容ls /创建普通节点(前面是节点的路径，后面是值）cre... Raehadoop系列2023-06-12761 阅读0 评论
Zookeeper常用命令（一）启动类命令 在zookeeper中我们也经常涉及到敲击命令，这篇文章我们介绍下zookeeper常用的命令之启动命令，具体如下：功能说明命令脚本启动zookeeper服务zkServer.sh start查看zookeeper状... Raehadoop系列2023-06-12872 阅读0 评论
hadoop常用命令（三）yarn命令 在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之yarn命令，具体如下：功能说明命令查看正在运行的yarn任务列表yarn application -list appIDkill掉... Raehadoop系列2023-06-12775 阅读0 评论
hadoop常用命令（二）hdfs/dfs命令 在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之hdfs/dfs命令，具体如下：功能说明命令创建目录hdfs dfs -mkdir -p /data/flink显示目录hdfs d... Raehadoop系列2023-06-12896 阅读0 评论
hadoop常用命令（一）启动类命令 在hadoop中我们也经常涉及到敲击命令，这篇文章我们介绍下hadoop常用的命令之启动类命令，具体如下：功能说明命令脚本启动hdfs集群sbin/start-dfs.sh启动yarnsbin/start-yarn.... Raehadoop系列2023-06-12791 阅读0 评论
Mapreduce实战案例（五）实现自定义排序 本文我们介绍下使用mapreduce进行排序的实战案例。在实际的场景中，排序是一个硬性的需求，所以我们在mapreduce中需要来实现这个排序功能。在mapreduce中，排序会发生在map阶段，因此这里的话，我们需... Raehadoop系列2023-05-30778 阅读0 评论
Mapreduce实战案例（四）自定义实现输入类型 在上一篇文章《Mapreduce实战案例（三）实现reduce端join》中，map里面我们是先把数据转化成了json，然后再转换成string，然后再把string放入到text类型里面进行向reduce传递的，如... Raehadoop系列2023-05-29915 阅读0 评论
Mapreduce实战案例（三）实现reduce端join 在上一篇文章《Mapreduce实战案例（二）实现map端join》我们实现了在map端进行join，这篇文章的话，我们演示下实现在reduce端做join。在reduce端进行join的时候，我们主要实现的逻辑如下... Raehadoop系列2023-05-29788 阅读0 评论
Mapreduce实战案例（二）实现map端join 在常见的数据分析中，我们经常会使用到join相关的数据关联性操作，所以对于传统型的mysql来说，我们只需要编写相关的join的sql语句即可，例如下面我们列举一个学校和学生的数据关系的场景：学校的数据如下：{&qu... Raehadoop系列2023-05-23841 阅读0 评论
Mapreduce实战案例（一）实现wordcount单词计数 在前面的文字我们介绍了很多hadoop相关的内容，这篇文字我们来演示下编写mapreduce的实战案例。这里实现的第一个案例是大家非常熟悉的wordcount计数程序，总体来说比较简单。下面我们直接演示：一、创建一个... Raehadoop系列2023-05-23656 阅读0 评论
Hadoop系列（三十）Yarn任务的提交流程介绍 上一篇文章《Hadoop系列（二十九）Yarn集群架构介绍》我们介绍了yarn集群的架构，这篇文章我们介绍下yarn任务提交的整个流程。首先来看看这个yarn提交的流程图：这里的话，整个client向yarn提交一个... Raehadoop系列2023-05-22557 阅读0 评论
Hadoop系列（二十九）Yarn集群架构介绍 在前面的文字《Hadoop系列（二十八）Yarn介绍及yarn的优点》我们简单的介绍了一下yarn，这篇文字我们来介绍下yarn的集群架构，首先来一张yarn的图：从上图可以看出，整个yarn的集群架构包含如下的几个... Raehadoop系列2023-05-22715 阅读0 评论
Hadoop安装配置篇（三）配置FairScheduler公平调度器 在hadoop集群里面，我们一般会使用yarn做资源管理器，所以这里的话，我们需要为hadoop集群配置调度器，在hadoop上，有三种调度器，分别是：FIFO 先进先出调度器Capacity ... Raehadoop系列2023-04-18740 阅读0 评论
热文Hadoop安装配置篇（二）配置hadoop关闭掉hdfs权限验证 在hadoop集群环境里面，我们经常会涉及到使用其他系统来操作hadoop集群里面的hdfs，例如：spark要向hdfs写入文件，我们可能使用不同的用户操作hdfs的api，等等。在hadoop中，默认是开启了权限... Raehadoop系列2023-04-171282 阅读0 评论
