数仓架构构建实战思路（二十）数据仓库运行过程中可能存在问题 数据仓库建设好了之后，在运行的过程中除了基础的技术部分，其实还是会存在很多的不可控因素，我们在问答社区里面进行了相关常见问题的整理，详情可参考：《数据仓库常见问题》。我们在《数据仓库常见问题》这里面会进行持续的更新，... Rae数据仓库2024-03-29695 阅读0 评论
数仓架构构建实战思路（十九）挖掘数仓的价值很重要 前面我们已经可以完成正常的一个数仓的基本使用了。前面我们也提到，既然花了大成本建设数仓，那么我们肯定是不仅限于数仓对于业务的基本使用了，所以接下来需要筹划的就是尽可能的挖掘数仓的价值，增加公司的创收。对于数仓来说，目... Rae数据仓库2024-03-29774 阅读0 评论
数仓架构构建实战思路（十八）数据治理很重要（数据血缘关系） 根据前面的数据仓库我们已经开始进入开发阶段，那么接下来的话，需要筹划的就是数据治理。也就是大家经常涉及到的数据血缘关系的建设。在整个数据仓库里面，我们会涉及到很多的存储组件，这些存储组件里面会涉及到成千上万个库，每一... Rae数据仓库2024-03-29868 阅读0 评论
数仓架构构建实战思路（十七）数仓开发流程 上文《数仓架构构建实战思路（十六）表设计原则很重要》我们根据表设计思路，完成各个层，各个模块的表设计，接下来就是开发了。所以这里其实主要是相对团队来说布置任务。但是对于布置任务来说，我们还是来捋一捋整个数仓的开发流程... Rae数据仓库2024-03-29811 阅读0 评论
数仓架构构建实战思路（十六）表设计原则很重要 前面我们已经完成了：业务熟悉分层策划模型选择指标拆分那么接下来我们就开始表设计了，这里的表设计的话我们一般会首先设计DIM层，因为DIM层是维度枚举层。此时会把相关所有的业务枚举都统一转换一下，然后放到D... Rae数据仓库2024-03-29566 阅读0 评论
数仓架构构建实战思路（十四）模型设计之模型抽象 完成了前面的工作之后，我们就要开始进行模型的抽象设计了。在建模的时候，我们需要对整体的业务数据进行抽象，根据如下的领域进行分类抽象整理：1、业务主线2、具体业务3、领域概念4、实体、事件、说明等我们这里画... Rae数据仓库2024-03-29659 阅读0 评论
数仓架构构建实战思路（十三）模型设计之设计原则 在设计模型的时候，我们还是需要提前做好一些规范，对于我们的规范来说，主要有以下几点：一、高内聚，低耦合这是所有数仓相关的文章都会给大家介绍的。但是如何理解呢？其实我们在实际的过程中主要是通过业务分类的形式来进行高内聚... Rae数据仓库2024-03-28660 阅读0 评论
数仓架构构建实战思路（十二）模型设计之模型选择 前面我们完成了数据仓库的分层设计，接下来就要开始建模了。建模之前，我们要考虑的就是如何选择建模的模型。在数仓中常用的模型主要分为3大类，分别是：1、维度模型2、ER模型3、Data Vault模型... Rae数据仓库2024-03-28499 阅读0 评论
数仓架构构建实战思路（十一）数仓分层原则 上文《数仓架构构建实战思路（十）数仓如何进行分层》我们介绍了书层的标准分层，接下来我们就需要考虑实际的分层设计了。这里的设计我们需要遵守一些分层的原则，在本文咱们列举一下：1、清晰简洁原则分层设计应该简洁明了，每个层... Rae数据仓库2024-03-28611 阅读0 评论
数仓架构构建实战思路（九）ETL部分建设 上文《数仓架构构建实战思路（八）数据采集部分建设》我们介绍了采集部分，接下来的话我们介绍中间的ETL部分。ETL的处理方式有很多，一般主要是：1、数据关联2、错误数据的纠正3、无效数据的剔除4、数据的重新... Rae数据仓库2024-03-28528 阅读0 评论
数仓架构构建实战思路（八）数据采集部分建设 上文《数仓架构构建实战思路（七）技术架构选型很重要》完成了技术选型之后，我们就要开始细化了。建设数仓，无外乎主要涉及到三大部分，分别是：1、数据采集2、数据ETL3、数据存储/查询所以在细化的第一步，我们主要... Rae数据仓库2024-03-28533 阅读0 评论
数仓架构构建实战思路（七）技术架构选型很重要 在前面，我们分别介绍了lambda架构（《数仓架构构建实战思路（五）技术架构之lambda架构》）和kappa架构（《数仓架构构建实战思路（六）技术架构之kappa架构》）。当然在数仓领域还有其他的架构比如：IOTA... Rae数据仓库2024-03-28410 阅读0 评论
数仓架构构建实战思路（六）技术架构之kappa架构 上文《数仓架构构建实战思路（五）技术架构之lambda架构》我们介绍了lambda相关的架构，本文来介绍下kappa的架构。先上一张图：此kappa的架构是目前非常流行的湖仓一体的架构，他的整体计算框架只有一个fli... Rae数据仓库2024-03-28442 阅读0 评论
数仓架构构建实战思路（五）技术架构之lambda架构 接下来我们就开始做相关的技术架构设计了，在数仓的领域里面，常见的架构设计方案有好几种，这几篇文章我们都挨个来介绍下。本文主要介绍的是lambda架构。首先上一个lambda架构图：这种Lambda架构目前来说，使用的... Rae数据仓库2024-03-28516 阅读0 评论
数仓架构构建实战思路（四）服务器分配评估很重要 上文《数仓架构构建实战思路（三）任务评估很重要》我们已经评估了任务和数据规模，当我们掌握这些信息之后，接下来就可以评估服务器集群规划了。也就是可以进入到采购阶段了。对于做数仓来说，一般如果是小公司的话，我们还是建议使... Rae数据仓库2024-03-27579 阅读0 评论
