使用doris做数据仓库,dws层如何建设?

提问者:帅平 问题分类:数据库
使用doris做数据仓库,dws层如何建设?
3 个回答
望北海
望北海
遵从如下两个规范:
1、DWS的核心职责:DWS层也常被称为数据服务层或公共汇总层。它的主要职责是基于DWD层的明细数据,面向特定的业务主题(如交易域、流量域、用户域)进行轻度或重度的聚合操作,构建公共的汇总指标和宽表模型。建立DWS层的目的是为了“预计算”,通过空间换时间的方式,提前将复杂的、常用的计算逻辑固化下来,从而提升上层应用的查询性能和响应速度。
2、DWS的交互规范:DWS层的数据来源于DWD层的明细事实表和维度表。它通过关联多个事实表和维度表,并进行聚合运算(SUM, COUNT, AVG等),形成面向特定分析场景的主题宽表。这些宽表整合了某个主题下的大量指标和维度,使得业务分析师可以方便地进行多维分析,而无需每次都从最底层的明细数据开始计算。
发布于:21小时前 IP属地:四川省
吹南风
吹南风
首先介绍下DWS层的命名,他的命名规则如下:
dws_[主题内容]_[统计周期]
示例及说明如下:
dws_doris.dws_load_d,其中dws_doris是库名,load是导入全流程相关的主题内容,最后的d表示按天统计
发布于:8个月前 (12-16) IP属地:四川省
得治
得治
dws层处理的主要内容有:
1、不同实体间的关联和逻辑转换
2、维度退化
3、不同粒度的指标度量表,以及轻度汇总
4、不同类型的事实表
5、粒度较细的宽表
发布于:8个月前 (12-16) IP属地:四川省
我来回答