数据仓库中做数据分层的标准怎么做?

提问者:帅平 问题分类:大数据
数据仓库中做数据分层的标准怎么做?
2 个回答
ε小仙女з
ε小仙女з
数据仓库中分层的话,一般大致可以分成6层,分别是:
1、ODS(Operational Data Store-操作存储数据层)
是最接近数据源中数据的一层,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可
2、DWD(Date Warehouse Detail-数据明细层)
从 ODS 层中获得的数据按照主题建立各种数据模型
3、DWM(Date Warehouse Middle-数据中间层)
该层会在 DWD 层的数据基础上,数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。(实际情况可能会没有这一层)
4、DWS(Date Warehouse Service-数据服务聚合层)
公共汇总层,会进行轻度汇总,粒度比明细数据稍粗,基于 DWD 层上的基础数据,整合汇总成分析某一个主题域的服务数据,一般称为宽表
5、DIM(Dimension-维表层)
一些维度属性表,从哪些角度可以分析数据
6、ADS(Application Data Service应用层)
主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、 PostgreSql、Redis 等系统中供线上系统使用,也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用
发布于:4周前 (06-24) IP属地:
我来回答