在前面,我们分别介绍了lambda架构(《数仓架构构建实战思路(五)技术架构之lambda架构》)和kappa架构(《数仓架构构建实战思路(六)技术架构之kappa架构》)。当然在数仓领域还有其他的架构比如:IOTA架构,湖仓一体架构等。这里我们就不做过多的介绍了:
1、IOTA架构目前我们没有实施过,所以暂不讨论 2、湖仓一体架构这里我们目前实在kappa架构上做的。
所以一般来说我们有相关的技术架构方案之后,接下来就是选型了。
从选型的角度上,我们需要考虑当前的数据处理场景:
1、是否有大量的原始数据 2、是否有大量的实时计算 3、是否要整合流批一体,还是把流批一体给分开 4、是否需要嵌入数据湖 5、是否涉及简化开发难度 6、等等
除了上诉的考虑因素之外,我们还需要对技术的选项进行考虑,例如:
1、当前技术适用的数据处理场景 2、是否涉及到频繁的更新 3、数据的查询/写入性能如何 4、存储的容错性怎么用 5、是否支持高并发的查询 6、运维是不是方便
这些因素其实都是我们需要考虑的。结合前面的介绍,我们一般来说还是建议使用kappa架构,这是目前的趋势,他结合dinky做在线开发,极大的减少企业的成本。
备注:
1、做好技术选型之后,一定要把相关的框架搭建起来,并且做好相关的压力测试,最好是全链路的压力测试,避免到时候上线出现某些节点的瓶颈。 2、当然压测之后,一定要出一份可信的测试报告给老板。
还没有评论,来说两句吧...