使用doris做数据仓库,ods层如何建设?

提问者:帅平 问题分类:数据库
使用doris做数据仓库,ods层如何建设?
4 个回答
我是白云
我是白云
遵从一下两个规则:
1、ODS层的核心职责是:作为数据仓库的“入口”和“缓冲区”,ODS层的首要职责是接收并存储来自各个异构业务系统的原始数据。此层的数据在结构和内容上与源系统保持高度一致,仅进行最基础的加载(如数据格式的统一),而不进行或只进行极少量的清洗和转换。其核心目标是“原汁原味”地保留历史快照,为后续的数据处理提供最原始、最全面的数据基础。
2、ODS层的交互规范是:ODS层是数据仓库与外部业务系统的唯一接口。它通过ETL(抽取、转换、加载)或CDC(变更数据捕获)等方式,周期性地或实时地从生产数据库、业务日志、第三方API等数据源捕获数据。ODS层的数据是后续所有数据加工的起点,其数据的完整性和及时性直接决定了整个数据仓库的质量上限。
发布于:20小时前 IP属地:四川省
望北海
望北海
首先命名上:ods层的命名规则是:ods_[类别]_[表内容],这里的类别主要有3种,分别是:
业务表(business简称bsn)
快照表(snapshot简称snap)
补录表(amended简称amd)
最后命名的示例如下:
ods_doris_load.ods_snap_stream_load
解释说明:
ods_doris_load是库名,doris是系统,load 是导入库,snap表示是快照表,stream_load是stream_load导入方式表名
发布于:8个月前 (12-16) IP属地:四川省
蓝鲸少女与猫
蓝鲸少女与猫
对于补录表的处理内容是:
1、主要针对业务系统中没有的数据,需要导入或者补录平台录入的,用以修复数据或者完善指标规则的,如财务手工账,订单时效的基线等。
2、补录数据需要有以下约束:固定的模板,数据适用范围和有效期,补录数据的更新机制,补录数据更新后的数据处理机制,补录表需在表中增加字段(表述补录类别和用途) 
发布于:8个月前 (12-16) IP属地:四川省
自然萌鹿鹿
自然萌鹿鹿
ods层处理的主要内容是:
源系统数据的采集和同步,保持和源系统数据的一致性。处理过程分为实时和离线,实时接入的数据需要有对应的数据写入状态(新增、修改、删除),实时数据写入时间
对于快照表的处理逻辑主要是:
对于源表数据量少于100万的,可按天/周/月不同的周期间隔,做全量快照表
对于源表数据量大于1000万的,需要根据业务主键做拉链表对于源表数据量
大于100万小于1000万的,根据具体业务的需求,做全量快照
发布于:8个月前 (12-16) IP属地:四川省
我来回答