这里我们开始介绍DataHub的主要功能之元数据摄入,这里的元数据摄入有两种方式,分别是:
1、通过dashboard可视化的设置元数据摄入基础信息。 2、通过yaml文件的形式创建元数据摄入基础信息。
本文我们主要演示的是通过dashboard的形式可视化的设置元数据摄入基础信息,这里我们以摄入mysql的数据为案例来演示一下。
1)准备mysql数据源
这里我们准备一个mysql的数据源,并且做一些演示数据,示例图如下:
2)datahub添加数据源
接着我们进入到datahub的dashboard上,点击右上角的Ingestion选项,进入到元数据摄入的模块:
接着点击这里的Create new source按钮:
进来之后我们选择mysql作为数据源:
接着进入第二步,我们配置mysql的数据库连接基本信息:
在填写mysql连接基本信息的时候,下面有一些filter和高级设置,这里我们暂时不管,在实际过程中会涉及到根据实际情况进行填写:
然后我们点击Next,进入第三步,配置定时器同步,这里也是根据实际情况进行填写即可:
继续点击next,进入第四步给当前的source起一个名称,这里根据实际情况填写即可:
接着点击这里的Save & Run就可以了,当前的source资源就会被展示在当前的Ingestion列表里面:
到此我们的元数据摄入模块就配置好了。可以看到Status的状态是Running,接着我们回到Datahub的dashboard主页:
在这里我们搜索下刚才的users表:
就可以看到users表的结果了,示例图如下:
点击进去就可以看到test1这个库的users表元数据信息了,示例图如下:
到此我们datahub上关于元数据信息的可视化摄入部分就配置好了。
还没有评论,来说两句吧...