作者 Rae 发布的文章

前面我们已经完成了：业务熟悉 分层策划 模型选择 指标拆分那么接下来我们就开始表设计了，这里的表设计的话我们一般会首先设计DIM层，因为DIM层是维度枚举层。此时会把相关所有的业务枚举都统一转换一下，然后放到DIM层...

做数据仓库的时候，我们不仅仅只是为了做数据存储和方便为前端提供快捷的查询。很多同学对于数据仓库的理解就是：建立数据仓库的目的就是配合前端产品业务的需求，对外提供大数据量的存储（解决mysql存储的局限）及提供快速的查...

在设计模型的时候，我们还是需要提前做好一些规范，对于我们的规范来说，主要有以下几点：一、高内聚，低耦合这是所有数仓相关的文章都会给大家介绍的。但是如何理解呢？其实我们在实际的过程中主要是通过业务分类的形式来进行高内聚...

前面我们完成了数据仓库的分层设计，接下来就要开始建模了。建模之前，我们要考虑的就是如何选择建模的模型。在数仓中常用的模型主要分为3大类，分别是：1、维度模型 2、ER模型 3、Data Vault模型 4、Ancho...

上文《数仓架构构建实战思路（十）数仓如何进行分层》我们介绍了书层的标准分层，接下来我们就需要考虑实际的分层设计了。这里的设计我们需要遵守一些分层的原则，在本文咱们列举一下：1、清晰简洁原则分层设计应该简洁明了，每个层...

建设过数仓的同学大概都能了解到，我们目前大部分情况下都是按照数仓进行的标准分层，也就是按照如下的几层分别建设的：1、ODS层 2、DWD层 3、DWS层 4、DIM层 5、ADS层基于上面几层的话，我们每一层是如何放...

上文《数仓架构构建实战思路（八）数据采集部分建设》我们介绍了采集部分，接下来的话我们介绍中间的ETL部分。ETL的处理方式有很多，一般主要是：1、数据关联 2、错误数据的纠正 3、无效数据的剔除 4、数据的重新整合处...

上文《数仓架构构建实战思路（七）技术架构选型很重要》完成了技术选型之后，我们就要开始细化了。建设数仓，无外乎主要涉及到三大部分，分别是：1、数据采集 2、数据ETL 3、数据存储/查询所以在细化的第一步，我们主要考虑...

在前面，我们分别介绍了lambda架构（《数仓架构构建实战思路（五）技术架构之lambda架构》）和kappa架构（《数仓架构构建实战思路（六）技术架构之kappa架构》）。当然在数仓领域还有其他的架构比如：IOTA...

日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景，下面演示下使用spark读取kafka的数据写入doris。直接上代码：val kafkaSource = spark .readStream ...

上文《大数据实战系列（三）Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka，本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码：v...

本文的话，我们再介绍下使用使用spark实现读取hive的数据，然后把数据写入到kafka，直接上代码： val spark = SparkSession.builder() .appName("HiveToKafk...