3 个回答
首先命名上:ods层的命名规则是:ods_[类别]_[表内容],这里的类别主要有3种,分别是:
业务表(business简称bsn)
快照表(snapshot简称snap)
补录表(amended简称amd)
最后命名的示例如下:ods_doris_load.ods_snap_stream_load
解释说明:ods_doris_load是库名,doris是系统,load 是导入库,snap表示是快照表,stream_load是stream_load导入方式表名
发布于:4个月前 (12-16) IP属地:四川省
对于补录表的处理内容是:
1、主要针对业务系统中没有的数据,需要导入或者补录平台录入的,用以修复数据或者完善指标规则的,如财务手工账,订单时效的基线等。
2、补录数据需要有以下约束:固定的模板,数据适用范围和有效期,补录数据的更新机制,补录数据更新后的数据处理机制,补录表需在表中增加字段(表述补录类别和用途)
发布于:4个月前 (12-16) IP属地:四川省
ods层处理的主要内容是:
源系统数据的采集和同步,保持和源系统数据的一致性。处理过程分为实时和离线,实时接入的数据需要有对应的数据写入状态(新增、修改、删除),实时数据写入时间
对于快照表的处理逻辑主要是:对于源表数据量少于100万的,可按天/周/月不同的周期间隔,做全量快照表
对于源表数据量大于1000万的,需要根据业务主键做拉链表对于源表数据量
大于100万小于1000万的,根据具体业务的需求,做全量快照
发布于:4个月前 (12-16) IP属地:四川省
我来回答
您需要 登录 后回答此问题!