大数据质量管理平台datavines系列（六）datavines数据质量管理之告警配置

上文《大数据质量管理平台datavines系列（五）datavines数据质量管理之监测表数据规则》我们对表进行了规则配置，最后出现失败，我们希望他进行告警通知我们，所以本文我们介绍下如何配置告警。一、进入告警管理这...

帅平数据仓库2024-12-12915 阅读0 评论

大数据质量管理平台datavines系列（五）datavines数据质量管理之监测表数据规则

上文《大数据质量管理平台datavines系列（四）datavines数据源管理之数据源数据目录》我们介绍了数据源目录，大家也学会了看数据的库表列等信息。那么既然是数据质量管理平台，那么比如我们现在有一个需求：use...

帅平数据仓库2024-12-12925 阅读0 评论

热文大数据质量管理平台datavines系列（四）datavines数据源管理之数据源数据目录

上文《大数据质量管理平台datavines系列（三）datavines数据源管理之添加数据源》添加了mysql数据源，本文就来从数据源视角挨个介绍下具体的功能，本文主要介绍数据目录。这里的数据目录主要是指对应数据源的...

帅平数据仓库2024-12-121057 阅读0 评论

大数据质量管理平台datavines系列（三）datavines数据源管理之添加数据源

前面《大数据质量管理平台datavines系列（二）datavines部署安装教程》已经完成了datavines的安装，在文末登录到dashboard之后，首先进入到我们视野的第一个界面就是数据源管理既然是数据质量管...

帅平数据仓库2024-12-12878 阅读0 评论

热文大数据质量管理平台datavines系列（二）datavines部署安装教程

上一篇《大数据质量管理平台datavines系列（一）datavines介绍》我们对datavinces做了一些简单的介绍。本文我们来介绍下部署安装。目前相对来说，datavines我感觉这个开源软件主要是个人开发者...

帅平数据仓库2024-12-121252 阅读0 评论

热文大数据质量管理平台datavines系列（一）datavines介绍

在一些大型互联网企业的数据中台或者数据湖仓建设的过程中，一般都都组件一个或者多个团队用以处理大数据，那么在一个团队里面就会涉及到如下的情况：1、多个团队分工不同的数据处理模块 2、一个团队中多个人分工不同的数据处理模...

帅平数据仓库2024-12-121137 阅读0 评论

热文Doris基础学习系列（五十一）Doris Light Schema Change毫秒级变更数据表结构

在我们使用做数据仓库的时候，不管是dwd、dws，ads，dim层等，随着业务需求的增加，我们经常会涉及到在某张表里面添加一些列维度，既然是数仓，那么每张表的数据肯定是非常大的一个量级了，此时大家的做法是什么呢？常用...

帅平doris系列2024-12-111166 阅读0 评论

热文Doris基础学习系列（五十）doris的部分列更新

在使用doris做数据仓库的时候，不管是在dwd层或者dws层或者其他层，我们经常会涉及到更新某张表的数据，对应的应用场景有：1、更新现有表的部分列的值 2、拼接大表，在现有表的基础上拼接上缺失的部分列数据，但是当前...

帅平doris系列2024-12-111383 阅读0 评论

热文Hudi,Iceberg,Paimon三者在数据湖应用上的对比

现如今每个企业的数据是越来越多，所以相对来说数据仓库，数据湖，湖仓一体等大数据架构都是经常使用的解决方案。本文我们针对大家在数据湖（Hudi、Iceberg、Paimon）上进行技术选型做一些相关的对比参考项。供大家...

帅平数据仓库2024-06-242540 阅读0 评论

热文数仓架构构建实战思路（二十一）数据质量监控

上文《数仓架构构建实战思路（二十）数据仓库运行过程中可能存在问题》我们提到了数据仓库运行的过程中会涉及到各种问题。但是里面比较隐含的问题主要是上游的数据发生了变更，如果我们没有及时发现的话，则会出现比较大的失误。因此...

Rae数据仓库2024-03-291357 阅读2 评论

热文数仓架构构建实战思路（二十）数据仓库运行过程中可能存在问题

数据仓库建设好了之后，在运行的过程中除了基础的技术部分，其实还是会存在很多的不可控因素，我们在问答社区里面进行了相关常见问题的整理，详情可参考：《数据仓库常见问题》。我们在《数据仓库常见问题》这里面会进行持续的更新，...

Rae数据仓库2024-03-291196 阅读0 评论

热文数仓架构构建实战思路（十九）挖掘数仓的价值很重要

前面我们已经可以完成正常的一个数仓的基本使用了。前面我们也提到，既然花了大成本建设数仓，那么我们肯定是不仅限于数仓对于业务的基本使用了，所以接下来需要筹划的就是尽可能的挖掘数仓的价值，增加公司的创收。对于数仓来说，目...

Rae数据仓库2024-03-291233 阅读0 评论

热文数仓架构构建实战思路（十八）数据治理很重要（数据血缘关系）

根据前面的数据仓库我们已经开始进入开发阶段，那么接下来的话，需要筹划的就是数据治理。也就是大家经常涉及到的数据血缘关系的建设。在整个数据仓库里面，我们会涉及到很多的存储组件，这些存储组件里面会涉及到成千上万个库，每一...

Rae数据仓库2024-03-291485 阅读0 评论

热文数仓架构构建实战思路（十七）数仓开发流程

上文《数仓架构构建实战思路（十六）表设计原则很重要》我们根据表设计思路，完成各个层，各个模块的表设计，接下来就是开发了。所以这里其实主要是相对团队来说布置任务。但是对于布置任务来说，我们还是来捋一捋整个数仓的开发流程...

Rae数据仓库2024-03-291285 阅读0 评论

热文数仓架构构建实战思路（十六）表设计原则很重要

前面我们已经完成了：业务熟悉 分层策划 模型选择 指标拆分那么接下来我们就开始表设计了，这里的表设计的话我们一般会首先设计DIM层，因为DIM层是维度枚举层。此时会把相关所有的业务枚举都统一转换一下，然后放到DIM层...

Rae数据仓库2024-03-291063 阅读0 评论