Doris实战系列(四)Doris+paimon+minio+flink实战案例 本文再介绍一个案例,结合目前比较流行的组合:doris+paimon+flink+minio的组合,实现使用flink把数据写入paimon中,数据真实存储在minio中,再使用doris进行读取。下面直接演示。具体... 帅平doris系列2024-12-24511 阅读0 评论
Doris实战系列(三)Doris查询之行转列实战+列转行实战 在日常的工作中,我们在设计表的时候都是把表作为一个实体,然后向这个实体里面添加一行行的数据。但是有时候我们会涉及到使用数据来进行聚合计算,也就是把行数据指标进行聚合,转换成列来展示效果。举个例子:现在有一个学生成绩的... 帅平doris系列2024-12-18454 阅读0 评论
Doris实战系列(二)Flink-cdc-mysql整库同步到doris(实现表schema动态变更) 在日常的大数据场景里面,我们经常会涉及到使用flink-cdc把源数据同步到数据仓库或者数据湖中,所以这里我们演示一下使用flink-cdc把mysql的数据同步到doris中。下面直接开始:一、前置条件这里我们演示... 帅平doris系列2024-12-18459 阅读1 评论
Doris基础学习系列(五十四)doris批量删除 在生产环境使用doris的时候,我们经常会涉及到删除数据的需求。大家是不是还在习惯使用delete from table where xxx=xxxx的形式?其实在doris中,一般不提倡使用delete来删除数据,... 帅平doris系列2024-12-17382 阅读1 评论
Doris基础学习系列(五十三)doris多表异步物化视图 在前面的文章《Doris基础学习系列(二十七)doris的物化视图》我们介绍了Doris表的物化视图,但是由于那个时候比较早,doris仅支持单表物化视图,即大家理解的同步物化视图。从doris2.1.5版本开始,d... 帅平doris系列2024-12-13488 阅读0 评论
Doris实战系列(一)同步物化视图实战案例 在doris中,同步的物化视图主要用于单表,他可以实现提前对单表的数据进行预聚合,在单表写入数据的时候,就会在物化视图表里面对数据进行预聚合计算,并把结果写入到物化视图中,如果后期需要查询相关聚合数据的时候就不用进行... 帅平doris系列2024-12-13406 阅读0 评论
Doris基础学习系列(五十二)Doris sql cache查询缓存使用 在doris中,虽然他是基于列式存储,查询速度很快。但是在实际的业务场景中,我们一般表的设计都会比较复杂,业务场景中编写的sql语句也会比较复杂。此时由于业务的复杂性,其实还是会出现查询较慢的情况。所以基于此,我们还... 帅平doris系列2024-12-13340 阅读0 评论
大数据质量管理平台datavines系列(八)datavines数据质量管理之系统自带的规则 在前面我们在数据源里面定义规则的时候可以看到,在选择Metric的时候只能选择一项:但是其实在datavines里面,系统自带的规则非常多,从数据源对应表的地方点击进去添加作业的时候,只能显示表行数检查的规则,这里可... 帅平数据仓库2024-12-12229 阅读0 评论
大数据质量管理平台datavines系列(七)datavines数据质量管理之多表值对比规则 在实际的数据开发中,我们经常会涉及到比如users表有某个字段age,然后经过处理,users1表也有一个age字段,总体的流程是users表经过某种逻辑处理之后,把数据写入了users1字段,由于用户的年龄字段是不... 帅平数据仓库2024-12-12206 阅读0 评论
大数据质量管理平台datavines系列(六)datavines数据质量管理之告警配置 上文《大数据质量管理平台datavines系列(五)datavines数据质量管理之监测表数据规则》我们对表进行了规则配置,最后出现失败,我们希望他进行告警通知我们,所以本文我们介绍下如何配置告警。一、进入告警管理这... 帅平数据仓库2024-12-12220 阅读0 评论
大数据质量管理平台datavines系列(五)datavines数据质量管理之监测表数据规则 上文《大数据质量管理平台datavines系列(四)datavines数据源管理之数据源数据目录》我们介绍了数据源目录,大家也学会了看数据的库表列等信息。那么既然是数据质量管理平台,那么比如我们现在有一个需求:use... 帅平数据仓库2024-12-12262 阅读0 评论
大数据质量管理平台datavines系列(四)datavines数据源管理之数据源数据目录 上文《大数据质量管理平台datavines系列(三)datavines数据源管理之添加数据源》添加了mysql数据源,本文就来从数据源视角挨个介绍下具体的功能,本文主要介绍数据目录。这里的数据目录主要是指对应数据源的... 帅平数据仓库2024-12-12246 阅读0 评论
大数据质量管理平台datavines系列(三)datavines数据源管理之添加数据源 前面《大数据质量管理平台datavines系列(二)datavines部署安装教程》已经完成了datavines的安装,在文末登录到dashboard之后,首先进入到我们视野的第一个界面就是数据源管理既然是数据质量管... 帅平数据仓库2024-12-12224 阅读0 评论
大数据质量管理平台datavines系列(二)datavines部署安装教程 上一篇《大数据质量管理平台datavines系列(一)datavines介绍》我们对datavinces做了一些简单的介绍。本文我们来介绍下部署安装。目前相对来说,datavines我感觉这个开源软件主要是个人开发者... 帅平数据仓库2024-12-12243 阅读0 评论