这里我们开始介绍Hudi相关的应用,本文我们主要介绍下Hudi的安装部署。
目前Hudi的官网没有现成的安装包,因此只能通过源码编译的方式来进行,因此我们主要还是下载源码然后找相关的对应的组件即可。下面我们来演示一下:
一、下载Hudi源码
这里我们需要直接在Hudi的官网上下载Hudi的源码,源码下载地址是:Hudi源码下载。这里我们目前最新的版本是0.14.1版本,所以我们直接下载最新的0.14.1版本即可。如下图:
源码下载完成之后,解压后整个项目是一个maven项目:
2)整理组件
在hudi里面我们经常涉及到使用的组件主要有:
1、hadoop 2、hive 3、spark 4、flink
所以这里我们需要查看Hudi0.14.1版本关联的上面几个组件的版本。这个直接在${Hudi_home}/pom.xml文件中查找即可,这里我们整理一下收集的Hudi0.14.1对应的版本。
序号 | 组件 | 版本 |
1 | hadoop | 2.10.2 |
2 | hive | 2.3.1 |
3 | spark | 3.4.1 |
4 | flink | 1.17 |
2)进入服务器进行编译
接着我们在服务器上编译下这里的hudi,使用的编译命令如下:
mvn clean package -DskipTests
然后等待片刻就可以看到编译成功了:
备注:
1、这里我们编译的话直接使用maven命令进行编译即可。 2、这里我们从pom种查找对应的组件,是由于编译的当前hudi版本支持的组件的版本号应该是服务器上运行的组件版本号,不然的话就不兼容了,会出现各种报错。 3、编译完成之后,编译的包在:${hudi_home}/packaging包里面。
三、测试
接着我们来测试下编译的Hudi,在咱们编译的${Hudi_home}里面,有一个hudi-cli的目录:
咱们进入下这个目录,执行如下的命令:
./hudi-cli.sh
当出现如下的界面就代表我们的编译的hudi没有任何问题:
还没有评论,来说两句吧...