数仓架构构建实战思路(二十)数据仓库运行过程中可能存在问题 数据仓库建设好了之后,在运行的过程中除了基础的技术部分,其实还是会存在很多的不可控因素,我们在问答社区里面进行了相关常见问题的整理,详情可参考:《数据仓库常见问题》。我们在《数据仓库常见问题》这里面会进行持续的更新,... Rae /数据仓库 /2024-03-29 /0 评论 /129 阅读
数仓架构构建实战思路(十九)挖掘数仓的价值很重要 前面我们已经可以完成正常的一个数仓的基本使用了。前面我们也提到,既然花了大成本建设数仓,那么我们肯定是不仅限于数仓对于业务的基本使用了,所以接下来需要筹划的就是尽可能的挖掘数仓的价值,增加公司的创收。对于数仓来说,目... Rae /数据仓库 /2024-03-29 /0 评论 /134 阅读
数仓架构构建实战思路(十八)数据治理很重要(数据血缘关系) 根据前面的数据仓库我们已经开始进入开发阶段,那么接下来的话,需要筹划的就是数据治理。也就是大家经常涉及到的数据血缘关系的建设。在整个数据仓库里面,我们会涉及到很多的存储组件,这些存储组件里面会涉及到成千上万个库,每一... Rae /数据仓库 /2024-03-29 /0 评论 /139 阅读
数仓架构构建实战思路(十七)数仓开发流程 上文《数仓架构构建实战思路(十六)表设计原则很重要》我们根据表设计思路,完成各个层,各个模块的表设计,接下来就是开发了。所以这里其实主要是相对团队来说布置任务。但是对于布置任务来说,我们还是来捋一捋整个数仓的开发流程... Rae /数据仓库 /2024-03-29 /0 评论 /152 阅读
数仓架构构建实战思路(十六)表设计原则很重要 前面我们已经完成了:业务熟悉分层策划模型选择指标拆分那么接下来我们就开始表设计了,这里的表设计的话我们一般会首先设计DIM层,因为DIM层是维度枚举层。此时会把相关所有的业务枚举都统一转换一下,然后放到D... Rae /数据仓库 /2024-03-29 /0 评论 /106 阅读
数仓架构构建实战思路(十四)模型设计之模型抽象 完成了前面的工作之后,我们就要开始进行模型的抽象设计了。在建模的时候,我们需要对整体的业务数据进行抽象,根据如下的领域进行分类抽象整理:1、业务主线2、具体业务3、领域概念4、实体、事件、说明等我们这里画... Rae /数据仓库 /2024-03-29 /0 评论 /147 阅读
数仓架构构建实战思路(十三)模型设计之设计原则 在设计模型的时候,我们还是需要提前做好一些规范,对于我们的规范来说,主要有以下几点:一、高内聚,低耦合这是所有数仓相关的文章都会给大家介绍的。但是如何理解呢?其实我们在实际的过程中主要是通过业务分类的形式来进行高内聚... Rae /数据仓库 /2024-03-28 /0 评论 /155 阅读
数仓架构构建实战思路(十二)模型设计之模型选择 前面我们完成了数据仓库的分层设计,接下来就要开始建模了。建模之前,我们要考虑的就是如何选择建模的模型。在数仓中常用的模型主要分为3大类,分别是:1、维度模型2、ER模型3、Data Vault模型... Rae /数据仓库 /2024-03-28 /0 评论 /142 阅读
数仓架构构建实战思路(十一)数仓分层原则 上文《数仓架构构建实战思路(十)数仓如何进行分层》我们介绍了书层的标准分层,接下来我们就需要考虑实际的分层设计了。这里的设计我们需要遵守一些分层的原则,在本文咱们列举一下:1、清晰简洁原则分层设计应该简洁明了,每个层... Rae /数据仓库 /2024-03-28 /0 评论 /165 阅读
数仓架构构建实战思路(九)ETL部分建设 上文《数仓架构构建实战思路(八)数据采集部分建设》我们介绍了采集部分,接下来的话我们介绍中间的ETL部分。ETL的处理方式有很多,一般主要是:1、数据关联2、错误数据的纠正3、无效数据的剔除4、数据的重新... Rae /数据仓库 /2024-03-28 /0 评论 /143 阅读