Kappa架构有哪些缺陷?

提问者:帅平 问题分类:大数据
Kappa架构是目前业界的实时数仓普遍的解决方案,主要是基于Flink+Kakfa来实现,但是据说Kappa架构也有一些缺陷,请问有哪些缺陷呢?
1 个回答
心已打烊
心已打烊
Kappa架构的缺陷有:
1、Kafka无法支持海量数据存储。对于海量数据量的业务线来说,Kafka一般只能存储非常短时间的数据,比如最近一周,甚至最近一天。
2、Kafka无法支持高效的OLAP查询,大多数业务都希望能在DWD\DWS层支持即席查询的,但是Kafka无法非常友好地支持这样的需求。
3、无法复用目前已经非常成熟的基于离线数仓的数据血缘、数据质量管理体系。需要重新实现一套数据血缘、数据质量管理体系。
4、Kafka不支持update/upsert,目前Kafka仅支持append。实际场景中在DWS轻度汇聚层很多时候是需要更新的,DWD明细层到DWS轻度汇聚层一般会根据时间粒度以及维度进行一定的聚合,用于减少数据量,提升查询性能。假如原始数据是秒级数据,聚合窗口是1分钟,那就有可能产生某些延迟的数据经过时间窗口聚合之后需要更新之前数据的需求。这部分更新需求无法使用Kafka实现。
发布于:2个月前 (02-27) IP属地:未知
我来回答