作者 帅平 发布的文章
热文Doris基础学习系列(五十二)Doris sql cache查询缓存使用
在doris中,虽然他是基于列式存储,查询速度很快。但是在实际的业务场景中,我们一般表的设计都会比较复杂,业务场景中编写的sql语句也会比较复杂。此时由于业务的复杂性,其实还是会出现查询较慢的情况。所以基于此,我们还...
大数据质量管理平台datavines系列(八)datavines数据质量管理之系统自带的规则
在前面我们在数据源里面定义规则的时候可以看到,在选择Metric的时候只能选择一项:但是其实在datavines里面,系统自带的规则非常多,从数据源对应表的地方点击进去添加作业的时候,只能显示表行数检查的规则,这里可...
热文大数据质量管理平台datavines系列(七)datavines数据质量管理之多表值对比规则
在实际的数据开发中,我们经常会涉及到比如users表有某个字段age,然后经过处理,users1表也有一个age字段,总体的流程是users表经过某种逻辑处理之后,把数据写入了users1字段,由于用户的年龄字段是不...
大数据质量管理平台datavines系列(六)datavines数据质量管理之告警配置
上文《大数据质量管理平台datavines系列(五)datavines数据质量管理之监测表数据规则》我们对表进行了规则配置,最后出现失败,我们希望他进行告警通知我们,所以本文我们介绍下如何配置告警。一、进入告警管理这...
大数据质量管理平台datavines系列(五)datavines数据质量管理之监测表数据规则
上文《大数据质量管理平台datavines系列(四)datavines数据源管理之数据源数据目录》我们介绍了数据源目录,大家也学会了看数据的库表列等信息。那么既然是数据质量管理平台,那么比如我们现在有一个需求:use...
大数据质量管理平台datavines系列(四)datavines数据源管理之数据源数据目录
上文《大数据质量管理平台datavines系列(三)datavines数据源管理之添加数据源》添加了mysql数据源,本文就来从数据源视角挨个介绍下具体的功能,本文主要介绍数据目录。这里的数据目录主要是指对应数据源的...
大数据质量管理平台datavines系列(三)datavines数据源管理之添加数据源
前面《大数据质量管理平台datavines系列(二)datavines部署安装教程》已经完成了datavines的安装,在文末登录到dashboard之后,首先进入到我们视野的第一个界面就是数据源管理既然是数据质量管...
热文大数据质量管理平台datavines系列(二)datavines部署安装教程
上一篇《大数据质量管理平台datavines系列(一)datavines介绍》我们对datavinces做了一些简单的介绍。本文我们来介绍下部署安装。目前相对来说,datavines我感觉这个开源软件主要是个人开发者...
在一些大型互联网企业的数据中台或者数据湖仓建设的过程中,一般都都组件一个或者多个团队用以处理大数据,那么在一个团队里面就会涉及到如下的情况:1、多个团队分工不同的数据处理模块 2、一个团队中多个人分工不同的数据处理模...
