数仓架构构建实战思路(二十)数据仓库运行过程中可能存在问题 数据仓库建设好了之后,在运行的过程中除了基础的技术部分,其实还是会存在很多的不可控因素,我们在问答社区里面进行了相关常见问题的整理,详情可参考:《数据仓库常见问题》。我们在《数据仓库常见问题》这里面会进行持续的更新,... Rae /数据仓库 /2024-03-29 /0 评论 /133 阅读
数仓架构构建实战思路(十八)数据治理很重要(数据血缘关系) 根据前面的数据仓库我们已经开始进入开发阶段,那么接下来的话,需要筹划的就是数据治理。也就是大家经常涉及到的数据血缘关系的建设。在整个数据仓库里面,我们会涉及到很多的存储组件,这些存储组件里面会涉及到成千上万个库,每一... Rae /数据仓库 /2024-03-29 /0 评论 /141 阅读
数仓架构构建实战思路(八)数据采集部分建设 上文《数仓架构构建实战思路(七)技术架构选型很重要》完成了技术选型之后,我们就要开始细化了。建设数仓,无外乎主要涉及到三大部分,分别是:1、数据采集2、数据ETL3、数据存储/查询所以在细化的第一步,我们主要... Rae /数据仓库 /2024-03-28 /0 评论 /141 阅读
数仓架构构建实战思路(四)服务器分配评估很重要 上文《数仓架构构建实战思路(三)任务评估很重要》我们已经评估了任务和数据规模,当我们掌握这些信息之后,接下来就可以评估服务器集群规划了。也就是可以进入到采购阶段了。对于做数仓来说,一般如果是小公司的话,我们还是建议使... Rae /数据仓库 /2024-03-27 /0 评论 /160 阅读
数仓架构构建实战思路(二)数据测算很重要 上文《数仓架构构建实战思路(一)熟悉业务很重要》我们介绍了前期熟悉业务。这里的话我们就进入到数仓的实施阶段。既然要做数仓,那么说明产品相关的设计已经完成了。那么接下来我们就从0构建1个数仓,挨个来介绍数仓的建设思路。... Rae /数据仓库 /2024-03-27 /0 评论 /125 阅读