今天咱们讲一讲数据仓库,由于最近的项目使用到,以前也做数据仓库,但是知识面比较零碎,因此在这里我们再把相关的内容稍微整理一下。分享给大家。
一、什么是数据仓库
数据仓库是近年来非常火的名词,很多公司都在做数仓。官方的解释是:数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。所以很多公司也把数仓叫做数据中台。但是我们在真是的过程中,数据中台能做的事情比数据仓库更多。这里我们主要讲解数据仓库,数据中台的内容我们后期做几篇合集内容给大家总体介绍一下。
二、常见的数据仓库架构
这张图主要介绍的是数据仓库的分层即围绕数仓的大致内容。
三、数据仓库分层介绍
通用的数据仓库一般我们分为:ODS层、DW层(包含:DWD层、DWM层,DWS层)。我们分别来介绍一下:
OSD层:
ODS层,全称Operrational Data Store,主要用于原始数据的存储,例如PC网页访问日志表,H5页面访问日志表,小程序访问日志表,IOS/Android原生访问日志表,登录日志表,订单日志表,商品日志表,用户行为日志表等。
DW层:
DW层,全称Data WareHouse,这里又细分的有:DWD层,DWM层,DWS层。
DWD层:
DWD层,全称Data WareHouse Service。即数据服务层,主要是保存的各个业务主题的宽表,例如:
用户主题宽表: 1、保留更少的维度,比如只有:人 2、计算出更多用户相关的指标:登录次数,访问次数,添加购物车次数,购买商品次数,购买不同商品数,购买全额,下单次数,退货次数,退货率等。 3、提供更多时间维度的数据:比如天、周、月级别的数据。
DWM层,全称Data WareHouse Middle,数据中间层,对明细数据按照常用的维度做初步的聚合和汇总,例如:
用户访问行为日志表: 1、保留通过的维度:人、商品、设备、页面区域(首页、商品详情页、店铺详情页等) 2、计算出常用的统计指标:次数、时长等
DWD层,全称Data WareHouse Detail,数据明细层,对OSD层数据做一定的清晰和主题汇总,例如:
用户访问日志表: 1、保留和明细数据一样的数据维度 2、包含PC,H5,APP,小程序等各个来源的数据 3、对部分枚举类类型的值进行翻译 4、剔除异常数据,保证数据质量
还没有评论,来说两句吧...