通用的大数据处理流程有哪些?

提问者:帅平 问题分类:面试刷题
通用的大数据处理流程有哪些?

 您阅读本篇文章共花了: 

1 个回答
天然纯勋勋
天然纯勋勋
通用的大数据处理流程主要分为4个部分,分别是:
1、数据采集
这是大数据处理的第一步,数据来源主要是两类,第一类是各个业务系统的关系数据库,通过Sqoop或者Cannal等工具进行定时抽取或者实时同步;第二类是各种埋点日志,通过Flume进行实时收集。

2、数据存储
收集到数据后,下一步便是将这些数据存储在HDFS中,实时日志流情况下则通过Kafka输出给后面的流式计算引擎。

3、数据分析
这一步是数据处理最核心的环节,包括离线处理和流处理两种方式,对应的计算引擎包括MapReduce、Spark、Flink等,处理完的结果会保存到已经提前设计好的数据仓库中,或者HBase、Redis、RDBMS等各种存储系统上。

4、数据应用
包括数据的可视化展现、业务决策、或者AI等各种数据应用场景。
发布于:3周前 (04-02) IP属地:四川省
我来回答