热文实时流存储fluss学习系列(十三)Fluss数据湖集成paimon 由于目前的工作暂时用不到paimon,也没有多余的服务器,同时使用paimon这块非常的简单,因此暂时不详解了,大家看看官方或者下面的介绍就会直接使用。Apahce Paimon创新性地结合了 Lake 格式和 LS... 帅平大数据2024-12-031706 阅读0 评论
热文实时流存储fluss学习系列(十二)Fluss数据湖介绍 Lakehouse 代表了一种新的开放式架构,它结合了数据湖和数据仓库的最佳元素。它将数据湖的可扩展性和成本效益与数据仓库的可靠性和性能相结合。Apache Iceberg、Apache Paimon、Apache ... 帅平大数据2024-12-031228 阅读0 评论
实时流存储fluss学习系列(十一)Fluss支持的数据类型 Fluss支持的数据类型有很多,对于flink 开发相关的同学来说几乎都是通用的。这里直接粘贴下官网的说明:DataTypeDescriptionBOOLEAN具有(可能)三值逻辑(TRUE、FALSE、UNKNOW... 帅平大数据2024-12-03921 阅读0 评论
实时流存储fluss学习系列(十)Fluss的数据过期TTL 在大数据处理的场景里面,涉及到开发的同学大概都能知道数据会长期积累,越来越多。在必要的时候我们会涉及到删除一些数据。在fluss中我们可以给表设置一个ttl,这时候只要表里面的数据过了ttl时间,那么他就会自动给删除... 帅平大数据2024-12-03982 阅读0 评论
热文实时流存储fluss学习系列(九)Fluss的分区介绍 在fluss中也有分区的概念,在前面的《实时流存储fluss学习系列(七)Fluss主键表介绍及使用教程》中我们演示创建表的时候演示了带有分区的创建表。目前的fluss官方提供的版本主要是0.5,所以本文仅对0.5版... 帅平大数据2024-12-031268 阅读0 评论
热文实时流存储fluss学习系列(八)Fluss的桶介绍 前面创建fluss的日志表和主键表的时候,我们演示过fluss桶的使用。在fluss中,桶是表数据存储的最小单元。创建 Fluss 表时,可以通过设置'bucket.num' = ''表的属性来指定 buc... 帅平大数据2024-12-031200 阅读0 评论
热文实时流存储fluss学习系列(七)Fluss主键表介绍及使用教程 上文《实时流存储fluss学习系列(六)Fluss日志表介绍及使用教程》已经介绍了fluss中日志表的使用,这里再介绍另外一种主键表。主键表的顾名思义就是当前创建的表有主键,和mysql的使用是相似的。同时主键表与日... 帅平大数据2024-12-031067 阅读0 评论
热文实时流存储fluss学习系列(六)Fluss日志表介绍及使用教程 在fluss中,对应的表分为两种,一种是日志表,一种是主键表。本文我们介绍下fluss的日志表。日志表在fluss中按写入顺序存储数据。日志表仅支持附加记录,不支持更新/删除操作。所以一般用于存储一些增量的原始数据或... 帅平大数据2024-12-031182 阅读0 评论
热文实时流存储fluss学习系列(五)Fluss Docker部署 在使用docker部署之前,先要确保服务器的配置至少为4H16G的配置,并且安装了docker和docker-compose命令。版本要求如下:Docker 版本:20.10 或更高版本。docker-compose... 帅平大数据2024-12-021141 阅读0 评论
热文实时流存储fluss学习系列(四)Fluss分布式部署 分布式部署fluss的话,需要java版本为java17及以上。官方不推荐使用java8和java11。本演示用例部署的fluss集群是在三台服务器上进行部署,具体的集群信息如下:1个coordinator serv... 帅平大数据2024-12-021039 阅读0 评论
热文实时流存储fluss学习系列(三)Fluss本地部署 上文《实时流存储fluss学习系列(二)fluss安装部署》介绍了fluss快速开始,这里记录下官方介绍的部署教程。一、下载fluss在fluss官网下载最新版本的fluss即可,确保选择与您的 Java 版本匹配的... 帅平大数据2024-12-021241 阅读0 评论
热文实时流存储fluss学习系列(二)Fluss安装部署 上一篇文章《实时流存储fluss学习系列(一)fluss介绍》对fluss做了简单的介绍。本文我们介绍下fluss的安装部署。首先介绍下fluss的集群结构:这里fluss的整体部署依赖于zookeer进行协调。然后... 帅平大数据2024-12-021602 阅读1 评论
热文实时流存储fluss学习系列(一)Fluss介绍 在2024年11月29日举办的Flink Forward Asia 2024大会上,阿里巴巴正式开源了 Fluss 项目(https://github.com/alibaba/fluss)。在11月29日下午的时候,... 帅平大数据2024-12-022773 阅读0 评论
Go语言MVC模式Web开发实战(十八)gin框架实现优雅停机 在实际的web运行中,加入一个服务正在接收大量的外部请求,但是此时又要涉及到停机升级,此时是不是会发生一些状况,比如:某个用户正在请求某个接口,保存一些重要的信息,此时后台给kill掉了此进程,那么当前用户正在保存的... 帅平go2024-11-29965 阅读0 评论
Redis常用命令大集合 本文记录下redis中常用的一些命令,便于对于redis的操作记录。序号命令说明1select index切换到指定的数据库2keys *显示所有key,如果键值对多不建议使用,keys会遍历所有key,可以在从节点... 帅平redis学习2024-11-29734 阅读0 评论