数据仓库

数据仓库实战（四）数据仓库ADS层建设指南（实战步骤+案例解析）

ADS（Application Data Store）层是数据仓库的最顶层，直接面向业务应用，为数据分析、报表展示和业务决策提供数据支持。它是数据仓库与业务系统之间的桥梁，将经过清洗、转换和汇总的数据以业务友好的方式...

帅平数据仓库2025-04-11470 阅读0 评论

数据仓库实战（三）数据仓库DWS层建设指南（实战步骤+案例解析）

DWS（Data Warehouse Service）层是数据仓库中的服务数据层，它基于DWD层的明细数据，按照业务主题对数据进行轻度汇总，形成主题宽表，主要包含了1d（最近1日）、nd（最近n日）、td（历史至今）...

帅平数据仓库2025-04-09474 阅读0 评论

数据仓库实战（二）数据仓库DIM层建设指南（实战步骤+案例解析）

数据仓库维度层(DIM层)是连接数据仓库ODS原始数据与后续分析层的关键桥梁。一、DIM层的基本概念与作用1、什么是维度层（DIM层）维度层是数据仓库架构中专门用于存储和管理维度数据的层次，位于ODS层之上，为DWD...

Rae数据仓库2025-04-05456 阅读0 评论

数据仓库实战（一）数据仓库DWD层建设指南（实战步骤+案例解析）

DWD（Data Warehouse Detail）层是数据仓库体系中的明细数据层，位于ODS（Operational Data Store，原始数据层）之上，DIM（维度层）和DWS（数据服务层）之下。它是数据仓库...

帅平数据仓库2025-04-03451 阅读0 评论

Doris基础学习系列（五十三）doris使用minio数据备份与还原

前面其实介绍过《doris的数据备份》和《doris的数据备份》。但是这里的备份和还原都是早期的版本了，目前企业内部使用对象存储会更多一点，所以我们这里再编写一片doris使用minio来完成数据的备份和还原。前置条...

Raedoris系列2025-03-07545 阅读0 评论

热文Doris实战系列（四）Doris+paimon+minio+flink实战案例

本文再介绍一个案例，结合目前比较流行的组合：doris+paimon+flink+minio的组合，实现使用flink把数据写入paimon中，数据真实存储在minio中，再使用doris进行读取。下面直接演示。具体...

帅平doris系列2024-12-241221 阅读0 评论

Doris实战系列（三）Doris查询之行转列实战+列转行实战

在日常的工作中，我们在设计表的时候都是把表作为一个实体，然后向这个实体里面添加一行行的数据。但是有时候我们会涉及到使用数据来进行聚合计算，也就是把行数据指标进行聚合，转换成列来展示效果。举个例子：现在有一个学生成绩的...

帅平doris系列2024-12-18928 阅读0 评论

Doris实战系列（二）Flink-cdc-mysql整库同步到doris（实现表schema动态变更）

在日常的大数据场景里面，我们经常会涉及到使用flink-cdc把源数据同步到数据仓库或者数据湖中，所以这里我们演示一下使用flink-cdc把mysql的数据同步到doris中。下面直接开始：一、前置条件这里我们演示...

帅平doris系列2024-12-18776 阅读1 评论

Doris基础学习系列（五十四）doris批量删除

在生产环境使用doris的时候，我们经常会涉及到删除数据的需求。大家是不是还在习惯使用delete from table where xxx=xxxx的形式？其实在doris中，一般不提倡使用delete来删除数据，...

帅平doris系列2024-12-17851 阅读1 评论

Doris基础学习系列（五十三）doris多表异步物化视图

在前面的文章《Doris基础学习系列（二十七）doris的物化视图》我们介绍了Doris表的物化视图，但是由于那个时候比较早，doris仅支持单表物化视图，即大家理解的同步物化视图。从doris2.1.5版本开始，d...

帅平doris系列2024-12-13801 阅读0 评论

Doris实战系列（一）同步物化视图实战案例

在doris中，同步的物化视图主要用于单表，他可以实现提前对单表的数据进行预聚合，在单表写入数据的时候，就会在物化视图表里面对数据进行预聚合计算，并把结果写入到物化视图中，如果后期需要查询相关聚合数据的时候就不用进行...

帅平doris系列2024-12-13646 阅读1 评论

Doris基础学习系列（五十二）Doris sql cache查询缓存使用

在doris中，虽然他是基于列式存储，查询速度很快。但是在实际的业务场景中，我们一般表的设计都会比较复杂，业务场景中编写的sql语句也会比较复杂。此时由于业务的复杂性，其实还是会出现查询较慢的情况。所以基于此，我们还...

帅平doris系列2024-12-13701 阅读0 评论

大数据质量管理平台datavines系列（八）datavines数据质量管理之系统自带的规则

在前面我们在数据源里面定义规则的时候可以看到，在选择Metric的时候只能选择一项：但是其实在datavines里面，系统自带的规则非常多，从数据源对应表的地方点击进去添加作业的时候，只能显示表行数检查的规则，这里可...

帅平数据仓库2024-12-12545 阅读0 评论

大数据质量管理平台datavines系列（七）datavines数据质量管理之多表值对比规则

在实际的数据开发中，我们经常会涉及到比如users表有某个字段age，然后经过处理，users1表也有一个age字段，总体的流程是users表经过某种逻辑处理之后，把数据写入了users1字段，由于用户的年龄字段是不...

帅平数据仓库2024-12-12635 阅读0 评论

大数据质量管理平台datavines系列（六）datavines数据质量管理之告警配置

上文《大数据质量管理平台datavines系列（五）datavines数据质量管理之监测表数据规则》我们对表进行了规则配置，最后出现失败，我们希望他进行告警通知我们，所以本文我们介绍下如何配置告警。一、进入告警管理这...

帅平数据仓库2024-12-12486 阅读0 评论