上文《大数据质量管理平台datavines系列(四)datavines数据源管理之数据源数据目录》我们介绍了数据源目录,大家也学会了看数据的库表列等信息。那么既然是数据质量管理平台,那么比如我们现在有一个需求:
users表每日的增长数据大概在10W左右,如果少于10W,需要进行告警
此时的话,我们的常用做法就是去扫描users表每日的数据总量,如果少于10W,则直接报警。那么使用databines怎么做到呢?在前面表里面,我们可以看到有一个添加作业的功能:
这个功能就是为监测表创建规则来使用的。
首先点击添加作业:
就会出现规则配置界面,这里由于测试数据不多,所以我们来编写一个模拟的规则,即:
1、如果users表的数据超过10条,那么就报警,如果在10条以内,就算正常的(这里只是为了演示用)
那么在上诉表格里面我们的配置信息如下:
其他的信息暂时不配置,仅配置当前表的日均值小于10条就正常,如果大于10条就不正常。直接点击保存并运行。他会自动退出来,在下放的作业的地方就可以看到生效的规则了
然后我们点击这条规则进去,配置他的调度执行时间
点击作业配置
然后点击定时任务配置
把它配置为每分钟执行一次
然后点击下方的保存和右上角的运行
接下来他就会一分钟执行一遍。等待一会,我们看看执行记录
可以看到这里执行的时间很规律,此时由于我们的数据只有4条,所以这里的监测都是正常的,接下来我们向mysql中插入15条新数据
执行之后,mysql的数据就多起来了
然后在datavines中的下一次任务执行,可以看到直接执行失败了:
点击右侧的结果,可看到规则匹配检查失败
此时像这种遇到错误了,直接就可以进行告警了,关于告警的话,我们在下一篇文章中进行介绍。
还没有评论,来说两句吧...