解释Paimon的"湖仓一体"概念

传统架构中，数据湖（如 Iceberg）负责存储原始数据，数据仓库（如 Hive）提供结构化查询，两者通过 ETL 管道连接，导致数据冗余和延迟。而paimon的解决方案是：
1、单一份存储支持原始数据追加（数据湖特性）和主键更新（数仓特性）。例如，日志数据可直接流式写入，同时通过 UPSERT 实时更新用户维度表。
2、允许新增字段（如添加 user_behavior_score 列）而无需中断写入，兼容数仓的强 Schema 约束与数据湖的弱 Schema 灵活性。

传统方案中，实时处理（如 Flink）与离线分析（如 Spark）需要不同存储系统。而Paimon的做法是：
1、通过全局有序的 snapshot_id（如 snapshot=5），同一张表可同时支持流式处理和批量分析
2、通过 Flink、Spark、Trino 等引擎直接读写同一份数据，无需格式转换。例如，Flink 流任务写入的数据，Spark 可立即批量聚合。

数据湖通常缺乏 ACID 事务，而数仓依赖强一致性保证。Paimon的做法是：
1、写入生成新快照，查询读取历史版本，避免读写冲突。例如，后台 Compaction 合并文件时，查询仍可访问旧快照，即MVCC.
2、通过 LSM 树实现行级 UPSERT，保证主键唯一性（类似数据库的 PRIMARY KEY）。例如，订单表的 order_id 可避免重复插入。
3、批量写入时，数据仅在快照提交后可见（类似 Iceberg 的 commit 操作）。

1、高频更新场景（如 CDC 数据同步）通过内存 MemTable 快速写入，合并 SSTable 降低随机 I/O。
2、底层采用列式存储（如 ORC）提升批量扫描性能（适合数仓 OLAP），同时支持行级更新（适合 OLTP 场景）。
3、根据写入压力自动触发小文件合并，避免传统数据湖手动调优（如 Hudi 的 compaction schedule）。