Kappa架构中使用数据户的存储方案替代kafka的存储方案有什么好处?

提问者:帅平 问题分类:大数据
Kappa架构中使用数据户的存储方案替代kafka的存储方案有什么好处?
1 个回答
相视而笑
相视而笑
使用数据湖的存储方案主要解决的问题有:
1、可以解决Kafka存储数据量少的问题。目前所有数据湖基本思路都是基于HDFS之上实现的一个文件管理系统,所以数据体量可以很大。
2、DW层数据依然可以支持OLAP查询。同样数据湖基于HDFS之上实现,只需要当前的OLAP查询引擎做一些适配就可以进行OLAP查询。
3、批流存储都基于Iceberg/HDFS存储之后,就完全可以复用一套相同的数据血缘、数据质量管理体系。
4、实时数据的更新。
发布于:5个月前 (02-27) IP属地:未知
我来回答