使用datax-web搭建一个可视化的数据迁移平台

在工作中，我们有时候会涉及到数据迁移的业务。目前大多数企业都是使用的云服务，所以在云服务里面，已经提供了免费或者付费的数据迁移方案。今天我们就来给大家演示一下，自己手动搭建一个可视化的数据迁移平台。

本文所涉及到的内容主要有:datax-web和datax。这篇文章我们介绍下如何搭建起来datax-web。

一、首先下载一个datax

datax的下载地址是：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz，大家可以直接在这个地址上进行下载。

下载完成后执行如下命令：

tar -zxvf datax.tar.gz

我们把下载的datax给解压出来。

如图，这里我们已经下载完毕，并且解压出来了。但是这里有一个问题，就是这个解压出来的文件有很多隐藏文件，我们需要删除一下，这样在执行datax的时候就不会报错。如果大家在执行datax任务的时候，界面上提示xxxx文件夹找不到，但是我们又可以看到这个文件夹，那么就是因为这个文件夹下面有很多的隐藏文件，需要进行删除掉。

cd /mbt/datax-web/datax/plugin/reader
ls -la

我们可以看到有很多隐藏文件夹。

我们需要把这些带.的目录给删除掉

rm -rf ._*
ls -la

可以看到我们已经删除掉了。

接着我们还需要删除writer目录里面的隐藏文件夹。

cd ../writer/
ls -la
rm -rf ._*
ls -la

可以看到writer目录里面的隐藏文件也被删除完了。

二、下载datax-web

datax-web的下载地址是：https://www.80wz.com/zb_users/tools/datax-web-2.1.2.tar.gz

这里我们已经下载完毕并且解压好了。

三、配置datax-web

3.1、使用datax-web，由于这是一个有状态的服务web平台，因此我们需要准备一个数据库，这里我们准备的数据库信息是：

数据库地址：192.168.31.30
数据库端口：3307
数据库账号：root
数据库密码：123456
数据库：datax-web

然后我们在这个库里面执行下对应的sql，这个sql文件在datax-web的项目里面，路径是：/mbt/datax-web/web-platform/datax-web-2.1.2/bin/db/datax_web.sql

3.2、进行一键安装

/mbt/datax-web/web-platform/datax-web-2.1.2/bin
./install.sh

此时需要我们输入一下对应的信息，根据提示填写即可

到上诉图的位置即代表datax-web安装完毕了。

备注：datax-web的配置文件的路径是：/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties。如果后续涉及到数据迁移，则直接更改这里面的配置即可。

3.3、修改java_home的路径

修改/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-admin/bin/env.properties 和 /mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/bin/env.properties  把第一行的JAVA_HOME的配置修改为当前本机上的jdk路径。

再修改/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/conf/application.yml

把这里的ip修改为对应的admin的地址即可。

3.4、启动datax

cd /mbt/datax-web/web-platform/datax-web-2.1.2/bin
./start-all.sh

出现上图提示就代表启动成功了，那么此时我们访问下对应的web页面。

3.5、配置datax的运行时路径

这里我们可以看到datax-web里面有两个模块，一个是datax-admin，这是一个web的管理平台，另外一个是datax-executor，这是一个运行时驱动环境。因此我们需要在这个datax-executor里面配置刚才第一步下载的datax的存放路径。

刚才我们下载的datax的存放路径是：/mbt/datax-web/datax

所以我们需要修改的文件是：/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/bin/env.properties

修改内容是

### 执行datax的python脚本地址
PYTHON_PATH=/mbt/datax-web/datax/bin/datax.py

### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
DATAX_ADMIN_PORT=

3.6、访问web页面。

访问地址：http://192.168.31.30:9527/index.html
登录账号：admin
登录密码：123456

这里就登录成功了。

备注下：

1、这里的datax-web大家可以看到其实就是套用的xxl-job的壳

2、这个datax可以部署为集群方式，但是一般我们用不到，所以不再这里进行集群的部署演示了。