实时流存储fluss学习系列(十三)Fluss数据湖集成paimon 由于目前的工作暂时用不到paimon,也没有多余的服务器,同时使用paimon这块非常的简单,因此暂时不详解了,大家看看官方或者下面的介绍就会直接使用。Apahce Paimon创新性地结合了 Lake 格式和 LS... 帅平2024-12-03220 阅读0 评论
实时流存储fluss学习系列(十二)Fluss数据湖介绍 Lakehouse 代表了一种新的开放式架构,它结合了数据湖和数据仓库的最佳元素。它将数据湖的可扩展性和成本效益与数据仓库的可靠性和性能相结合。Apache Iceberg、Apache Paimon、Ap... 帅平2024-12-03244 阅读0 评论
实时流存储fluss学习系列(十一)Fluss支持的数据类型 Fluss支持的数据类型有很多,对于flink 开发相关的同学来说几乎都是通用的。这里直接粘贴下官网的说明:DataTypeDescriptionBOOLEAN具有(可能)三值逻辑(TRUE、FALSE、UNKNOW... 帅平2024-12-03229 阅读0 评论
实时流存储fluss学习系列(十)Fluss的数据过期TTL 在大数据处理的场景里面,涉及到开发的同学大概都能知道数据会长期积累,越来越多。在必要的时候我们会涉及到删除一些数据。在fluss中我们可以给表设置一个ttl,这时候只要表里面的数据过了ttl时间,那么他就会自动给删除... 帅平2024-12-03185 阅读0 评论
实时流存储fluss学习系列(九)Fluss的分区介绍 在fluss中也有分区的概念,在前面的《实时流存储fluss学习系列(七)Fluss主键表介绍及使用教程》中我们演示创建表的时候演示了带有分区的创建表。目前的fluss官方提供的版本主要是0.5,所以本文仅对0.5版... 帅平2024-12-03249 阅读0 评论
实时流存储fluss学习系列(八)Fluss的桶介绍 前面创建fluss的日志表和主键表的时候,我们演示过fluss桶的使用。在fluss中,桶是表数据存储的最小单元。创建 Fluss 表时,可以通过设置'bucket.num' = '<n... 帅平2024-12-03204 阅读0 评论
实时流存储fluss学习系列(七)Fluss主键表介绍及使用教程 上文《实时流存储fluss学习系列(六)Fluss日志表介绍及使用教程》已经介绍了fluss中日志表的使用,这里再介绍另外一种主键表。主键表的顾名思义就是当前创建的表有主键,和mysql的使用是相似的。同时主键表与日... 帅平2024-12-03198 阅读0 评论
实时流存储fluss学习系列(六)Fluss日志表介绍及使用教程 在fluss中,对应的表分为两种,一种是日志表,一种是主键表。本文我们介绍下fluss的日志表。日志表在fluss中按写入顺序存储数据。日志表仅支持附加记录,不支持更新/删除操作。所以一般用于存储一些增量的原始数据或... 帅平2024-12-03181 阅读0 评论
实时流存储fluss学习系列(五)Fluss Docker部署 在使用docker部署之前,先要确保服务器的配置至少为4H16G的配置,并且安装了docker和docker-compose命令。版本要求如下:Docker 版本:20.10 或更高版本。docker-compose... 帅平2024-12-02180 阅读0 评论
实时流存储fluss学习系列(四)Fluss分布式部署 分布式部署fluss的话,需要java版本为java17及以上。官方不推荐使用java8和java11。本演示用例部署的fluss集群是在三台服务器上进行部署,具体的集群信息如下:1个coordinator ... 帅平2024-12-02298 阅读0 评论