3 个回答
遵从如下两个规范:
1、DWD核心职责:DWD层是数据仓库建设的核心,承担着数据清洗、规范化和建模的重任。此层会对ODS层的原始数据进行深度加工,包括:
2、DWD层交互规范:DWD层的数据来源于ODS层。它消费ODS层的原始数据,产出干净、规范、易于理解的明细事实表和维度表。DWD层的数据质量和模型设计的合理性,是整个数据仓库能否提供一致、准确分析结果的关键。它是数据仓库中数据复用价值最高的层次之一。
1、DWD核心职责:DWD层是数据仓库建设的核心,承担着数据清洗、规范化和建模的重任。此层会对ODS层的原始数据进行深度加工,包括:
数据清洗:处理空值、去除重复记录、纠正异常值或“脏数据”。
数据转换与规范化:统一不同源系统的编码(如将多个业务线的“男性”、“男”、“1”统一为“M”)、统一数据类型和长度、统一命名规范。
构建维度模型:基于Kimball的维度建模理论,将数据组织成事实表(Fact Table)和维度表(Dimension Table)。事实表通常包含业务过程的度量值,保持与业务行为一致的最低粒度;维度表则包含分析业务的上下文环境(如时间、地点、用户等)。
2、DWD层交互规范:DWD层的数据来源于ODS层。它消费ODS层的原始数据,产出干净、规范、易于理解的明细事实表和维度表。DWD层的数据质量和模型设计的合理性,是整个数据仓库能否提供一致、准确分析结果的关键。它是数据仓库中数据复用价值最高的层次之一。
发布于:2个月前 (08-01) IP属地:四川省
首先还是介绍DWD层的命名规则,示例如下:
dwd_[实体名]
命名示例及说明如下:dwd_doris.dwd_doris_load,其中dwd_doris是库名,doris表示AP域,doris_load表示导入凭证
发布于:10个月前 (12-16) IP属地:四川省
在DWD层主要的处理内容有:
1、数据的完整性,包括实体的完整性(分段的业务表),数据行的完整性(不同阶段的业务周期的汇集),字段的完整性(关键业务字段)
2、数据清洗,对于脏数据按规则进行清洗,保障原子粒度的数据质量
3、维度关联映射
发布于:10个月前 (12-16) IP属地:四川省
我来回答
您需要 登录 后回答此问题!