基于flink和doris做实时数仓,有可用的方案吗?

提问者:帅平 问题分类:大数据
基于flink和doris做实时数仓,有可用的方案吗?
1 个回答
心尖爱人
心尖爱人
关于Doris做数据分层和实时计算的方案可参考:
1. 借助外部调度工具,比如DolphinScheduler,按分钟级微批调度分层
2. 物化视图,实时地同步聚合(预聚合);基于2.1版本的多表物化视图,相当于大部分场景可以不借助外部调度工具,在Doris内部即可实现异步定时分层了
3. Flink APP中进行分层将数据sink至doris,例如ods -> kafka -> flink -> dw -> kafka -> flink -> doris
4. 后续规划doris binlog,即可实现ods -> doris <-> flink,当前还未出具体计划、可以持续关注中
在doris binlog未发之前,大部分用户选择的是前两种方式,因为绝大多数用户场景是允许3-5分钟左右的数据可见延迟。
发布于:5个月前 (04-24) IP属地:四川省
我来回答