1 个回答
整体架构主要分4层:
1、数据采集层
1、数据采集层
日志来源:服务器日志、应用日志、网络设备日志等
采集工具:Filebeat/Fluentd → 数据推送到Kafka(作为缓冲层)
数据预处理:清洗、格式标准化(如JSON解析)、字段脱敏
2、实时处理层流处理引擎:Flink
3、paimon存储层使用冷热做数据分层
4、查询层OLAP引擎:Trino/Presto + BI工具(Superset/Tableau)
整体数据流向与处理:Kafka → Flink(实时解析/过滤) → Paimon(分层写入)
→ Trino(Ad-hoc查询)
→ BI工具(可视化)
发布于:3周前 (05-27) IP属地:
我来回答
您需要 登录 后回答此问题!