在工作中,我们有时候会涉及到数据迁移的业务。目前大多数企业都是使用的云服务,所以在云服务里面,已经提供了免费或者付费的数据迁移方案。今天我们就来给大家演示一下,自己手动搭建一个可视化的数据迁移平台。
本文所涉及到的内容主要有:datax-web和datax。这篇文章我们介绍下如何搭建起来datax-web。
一、首先下载一个datax
datax的下载地址是:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz,大家可以直接在这个地址上进行下载。
下载完成后执行如下命令:
tar -zxvf datax.tar.gz
我们把下载的datax给解压出来。
如图,这里我们已经下载完毕,并且解压出来了。但是这里有一个问题,就是这个解压出来的文件有很多隐藏文件,我们需要删除一下,这样在执行datax的时候就不会报错。如果大家在执行datax任务的时候,界面上提示xxxx文件夹找不到,但是我们又可以看到这个文件夹,那么就是因为这个文件夹下面有很多的隐藏文件,需要进行删除掉。
cd /mbt/datax-web/datax/plugin/reader ls -la
我们可以看到有很多隐藏文件夹。
我们需要把这些带.的目录给删除掉
rm -rf ._* ls -la
可以看到我们已经删除掉了。
接着我们还需要删除writer目录里面的隐藏文件夹。
cd ../writer/ ls -la rm -rf ._* ls -la
可以看到writer目录里面的隐藏文件也被删除完了。
二、下载datax-web
datax-web的下载地址是:https://pic.80wz.com/tools/datax-web-2.1.2.tar.gz
这里我们已经下载完毕并且解压好了。
三、配置datax-web
3.1、使用datax-web,由于这是一个有状态的服务web平台,因此我们需要准备一个数据库,这里我们准备的数据库信息是:
数据库地址:192.168.31.30 数据库端口:3307 数据库账号:root 数据库密码:123456 数据库:datax-web
然后我们在这个库里面执行下对应的sql,这个sql文件在datax-web的项目里面,路径是:/mbt/datax-web/web-platform/datax-web-2.1.2/bin/db/datax_web.sql
3.2、进行一键安装
/mbt/datax-web/web-platform/datax-web-2.1.2/bin ./install.sh
此时需要我们输入一下对应的信息,根据提示填写即可
到上诉图的位置即代表datax-web安装完毕了。
备注:datax-web的配置文件的路径是:/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties。如果后续涉及到数据迁移,则直接更改这里面的配置即可。
3.3、修改java_home的路径
修改/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-admin/bin/env.properties 和 /mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/bin/env.properties 把第一行的JAVA_HOME的配置修改为当前本机上的jdk路径。
再修改/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/conf/application.yml
把这里的ip修改为对应的admin的地址即可。
3.4、启动datax
cd /mbt/datax-web/web-platform/datax-web-2.1.2/bin ./start-all.sh
出现上图提示就代表启动成功了,那么此时我们访问下对应的web页面。
3.5、配置datax的运行时路径
这里我们可以看到datax-web里面有两个模块,一个是datax-admin,这是一个web的管理平台,另外一个是datax-executor,这是一个运行时驱动环境。因此我们需要在这个datax-executor里面配置刚才第一步下载的datax的存放路径。
刚才我们下载的datax的存放路径是:/mbt/datax-web/datax
所以我们需要修改的文件是:/mbt/datax-web/web-platform/datax-web-2.1.2/modules/datax-executor/bin/env.properties
修改内容是
### 执行datax的python脚本地址 PYTHON_PATH=/mbt/datax-web/datax/bin/datax.py ### 保持和datax-admin服务的端口一致;默认是9527,如果没改datax-admin的端口,可以忽略 DATAX_ADMIN_PORT=
3.6、访问web页面。
访问地址:http://192.168.31.30:9527/index.html 登录账号:admin 登录密码:123456
这里就登录成功了。
备注下:
1、这里的datax-web大家可以看到其实就是套用的xxl-job的壳
2、这个datax可以部署为集群方式,但是一般我们用不到,所以不再这里进行集群的部署演示了。
还没有评论,来说两句吧...