数仓架构构建实战思路(十一)数仓分层原则 上文《数仓架构构建实战思路(十)数仓如何进行分层》我们介绍了书层的标准分层,接下来我们就需要考虑实际的分层设计了。这里的设计我们需要遵守一些分层的原则,在本文咱们列举一下:1、清晰简洁原则分层设计应该简洁明了,每个层... Rae /数据仓库 /2024-03-28 /0 评论 /150 阅读
数仓架构构建实战思路(十)数仓如何进行分层 建设过数仓的同学大概都能了解到,我们目前大部分情况下都是按照数仓进行的标准分层,也就是按照如下的几层分别建设的:1、ODS层2、DWD层3、DWS层4、DIM层5、ADS层基于上面几层的话,我们每一层... Rae /数据仓库 /2024-03-28 /0 评论 /137 阅读
数仓架构构建实战思路(九)ETL部分建设 上文《数仓架构构建实战思路(八)数据采集部分建设》我们介绍了采集部分,接下来的话我们介绍中间的ETL部分。ETL的处理方式有很多,一般主要是:1、数据关联2、错误数据的纠正3、无效数据的剔除4、数据的重新... Rae /数据仓库 /2024-03-28 /0 评论 /134 阅读
数仓架构构建实战思路(八)数据采集部分建设 上文《数仓架构构建实战思路(七)技术架构选型很重要》完成了技术选型之后,我们就要开始细化了。建设数仓,无外乎主要涉及到三大部分,分别是:1、数据采集2、数据ETL3、数据存储/查询所以在细化的第一步,我们主要... Rae /数据仓库 /2024-03-28 /0 评论 /128 阅读
数仓架构构建实战思路(七)技术架构选型很重要 在前面,我们分别介绍了lambda架构(《数仓架构构建实战思路(五)技术架构之lambda架构》)和kappa架构(《数仓架构构建实战思路(六)技术架构之kappa架构》)。当然在数仓领域还有其他的架构比如:IOTA... Rae /数据仓库 /2024-03-28 /0 评论 /125 阅读
数仓架构构建实战思路(六)技术架构之kappa架构 上文《数仓架构构建实战思路(五)技术架构之lambda架构》我们介绍了lambda相关的架构,本文来介绍下kappa的架构。先上一张图:此kappa的架构是目前非常流行的湖仓一体的架构,他的整体计算框架只有一个fli... Rae /数据仓库 /2024-03-28 /0 评论 /108 阅读
数仓架构构建实战思路(五)技术架构之lambda架构 接下来我们就开始做相关的技术架构设计了,在数仓的领域里面,常见的架构设计方案有好几种,这几篇文章我们都挨个来介绍下。本文主要介绍的是lambda架构。首先上一个lambda架构图:这种Lambda架构目前来说,使用的... Rae /数据仓库 /2024-03-28 /0 评论 /135 阅读
数仓架构构建实战思路(四)服务器分配评估很重要 上文《数仓架构构建实战思路(三)任务评估很重要》我们已经评估了任务和数据规模,当我们掌握这些信息之后,接下来就可以评估服务器集群规划了。也就是可以进入到采购阶段了。对于做数仓来说,一般如果是小公司的话,我们还是建议使... Rae /数据仓库 /2024-03-27 /0 评论 /142 阅读
数仓架构构建实战思路(三)任务评估很重要 上文《数仓架构构建实战思路(二)数据测算很重要》我们对数据进行了测算,接下来就要对任务进行评估了。在数仓的建设中,任务评估也是一个非常重要的是,所有的任务无外乎以下几种:1、定时任务2、批处理任务3、流处理任... Rae /数据仓库 /2024-03-27 /0 评论 /131 阅读
数仓架构构建实战思路(二)数据测算很重要 上文《数仓架构构建实战思路(一)熟悉业务很重要》我们介绍了前期熟悉业务。这里的话我们就进入到数仓的实施阶段。既然要做数仓,那么说明产品相关的设计已经完成了。那么接下来我们就从0构建1个数仓,挨个来介绍数仓的建设思路。... Rae /数据仓库 /2024-03-27 /0 评论 /120 阅读