Zookeeper常用命令(三)四字母命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之四字母命令,具体如下:命令功能说明例子confzk服务配置的详细信息echo conf | nc 127.0.0.1 2... Rae hadoop系列 2023-06-12 357 阅读 0 评论
Zookeeper常用命令(二)基本操作命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之基本命令,具体如下:功能说明命令脚本当前znode中所包含的内容ls /创建普通节点(前面是节点的路径,后面是值)cre... Rae hadoop系列 2023-06-12 369 阅读 0 评论
Zookeeper常用命令(一)启动类命令 在zookeeper中我们也经常涉及到敲击命令,这篇文章我们介绍下zookeeper常用的命令之启动命令,具体如下:功能说明命令脚本启动zookeeper服务zkServer.sh start查看zookeeper状... Rae hadoop系列 2023-06-12 455 阅读 0 评论
hadoop常用命令(三)yarn命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之yarn命令,具体如下:功能说明命令查看正在运行的yarn任务列表yarn application -list appIDkill掉... Rae hadoop系列 2023-06-12 373 阅读 0 评论
hadoop常用命令(二)hdfs/dfs命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之hdfs/dfs命令,具体如下:功能说明命令创建目录hdfs dfs -mkdir -p /data/flink显示目录hdfs d... Rae hadoop系列 2023-06-12 497 阅读 0 评论
hadoop常用命令(一)启动类命令 在hadoop中我们也经常涉及到敲击命令,这篇文章我们介绍下hadoop常用的命令之启动类命令,具体如下:功能说明命令脚本启动hdfs集群sbin/start-dfs.sh启动yarnsbin/start-yarn.... Rae hadoop系列 2023-06-12 344 阅读 0 评论
Mapreduce实战案例(五)实现自定义排序 本文我们介绍下使用mapreduce进行排序的实战案例。在实际的场景中,排序是一个硬性的需求,所以我们在mapreduce中需要来实现这个排序功能。在mapreduce中,排序会发生在map阶段,因此这里的话,我们需... Rae hadoop系列 2023-05-30 383 阅读 0 评论
Mapreduce实战案例(四)自定义实现输入类型 在上一篇文章《Mapreduce实战案例(三)实现reduce端join》中,map里面我们是先把数据转化成了json,然后再转换成string,然后再把string放入到text类型里面进行向reduce传递的,如... Rae hadoop系列 2023-05-29 511 阅读 0 评论
Mapreduce实战案例(三)实现reduce端join 在上一篇文章《Mapreduce实战案例(二)实现map端join》我们实现了在map端进行join,这篇文章的话,我们演示下实现在reduce端做join。在reduce端进行join的时候,我们主要实现的逻辑如下... Rae hadoop系列 2023-05-29 429 阅读 0 评论
Mapreduce实战案例(二)实现map端join 在常见的数据分析中,我们经常会使用到join相关的数据关联性操作,所以对于传统型的mysql来说,我们只需要编写相关的join的sql语句即可,例如下面我们列举一个学校和学生的数据关系的场景:学校的数据如下:{&qu... Rae hadoop系列 2023-05-23 486 阅读 0 评论