最近在编写doris相关的文章,需要使用到Datax的doriswriter。但是Doriswriter本身不提供下载,只能使用源码编译,因此这里我们来编译下。下面演示下具体的步骤。
一、把datax和doris的源码克隆下来
git clone https://github.com/alibaba/DataX.git 这是克隆Datax源码的。 git clone https://github.com/apache/doris.git 这是克隆doris源码的。
这里我们已经克隆下来了。
二、把doris的writer放到datax的根目录下
doris的源码下面自带的有writer的源码,目录在 ${doris_home}/extension/DataX目录下
把下面的doriswriter文件夹拖动到datax的home目录下。
备注在最新版的datax的源码下面,已经自带了doriswriter的源码,因此这里我们可以不用再克隆doris的源码了。
三、把datax导入到IDE开发工具中(也可以直接使用文本修改,用命令行编译)
这里由于需要修改一些配置信息,因此我们把他导入到IDE中来。如下图:
这里导入进来的插件其实蛮多的,我们这里不需要编译完整的所有的datax的plugin,只需要一个doriswriter的plugin。因此我们修改下pom.xml文件。去掉多余的,只保留doris即可。
备注:
1、这里我们把reader和writer的大部分module都去掉下。
2、保留doris的writer即可。
四、执行maven install 编译
在datax的根目录下执行如下的命令进行编译:
mvn install
然后等待编译成功即可。
五、把编译好的doris的writer插件提取出来
doris使用maven编译好了之后,会在target下面生成对应的writer,如图:
我们把这个doriswriter文件夹提取出来,放到datax的plugin->writer里面去。
此时我们的doriswriter就编译完成了。
备注:
1、datax导入之后,在编译器里面会大面积报错,这里我们由于只需要doriswriter,所以其他的暂时可以不用管,只要doriswriter不报错即可。
如果大家不想自己编译的话,可以直接下载我们已经编译好的,下载地址登录即可看到。
还没有评论,来说两句吧...