热文实时流存储fluss学习系列（六）Fluss日志表介绍及使用教程

在fluss中，对应的表分为两种，一种是日志表，一种是主键表。本文我们介绍下fluss的日志表。日志表在fluss中按写入顺序存储数据。日志表仅支持附加记录，不支持更新/删除操作。所以一般用于存储一些增量的原始数据或...

帅平大数据2024-12-031136 阅读0 评论

热文实时流存储fluss学习系列（五）Fluss Docker部署

在使用docker部署之前，先要确保服务器的配置至少为4H16G的配置，并且安装了docker和docker-compose命令。版本要求如下：Docker 版本：20.10 或更高版本。docker-compose...

帅平大数据2024-12-021101 阅读0 评论

实时流存储fluss学习系列（四）Fluss分布式部署

分布式部署fluss的话，需要java版本为java17及以上。官方不推荐使用java8和java11。本演示用例部署的fluss集群是在三台服务器上进行部署，具体的集群信息如下：1个coordinator serv...

帅平大数据2024-12-02983 阅读0 评论

热文实时流存储fluss学习系列（三）Fluss本地部署

上文《实时流存储fluss学习系列（二）fluss安装部署》介绍了fluss快速开始，这里记录下官方介绍的部署教程。一、下载fluss在fluss官网下载最新版本的fluss即可，确保选择与您的 Java 版本匹配的...

帅平大数据2024-12-021186 阅读0 评论

热文实时流存储fluss学习系列（二）Fluss安装部署

上一篇文章《实时流存储fluss学习系列（一）fluss介绍》对fluss做了简单的介绍。本文我们介绍下fluss的安装部署。首先介绍下fluss的集群结构：这里fluss的整体部署依赖于zookeer进行协调。然后...

帅平大数据2024-12-021541 阅读1 评论

热文实时流存储fluss学习系列（一）Fluss介绍

在2024年11月29日举办的Flink Forward Asia 2024大会上，阿里巴巴正式开源了 Fluss 项目(https://github.com/alibaba/fluss)。在11月29日下午的时候，...

帅平大数据2024-12-022697 阅读0 评论

热文大数据实战系列（五）Spark 实现读取kafka数据写入doris

日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景，下面演示下使用spark读取kafka的数据写入doris。直接上代码：val kafkaSource = spark .readStream ...

Raespark项目实战2024-03-281240 阅读0 评论

热文大数据实战系列（四）Spark 实现读取kafka数据写入hive

上文《大数据实战系列（三）Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka，本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码：v...

Raespark项目实战2024-03-281282 阅读0 评论

热文大数据实战系列（三）Spark 实现读取hive数据写入kafka

本文的话，我们再介绍下使用使用spark实现读取hive的数据，然后把数据写入到kafka，直接上代码： val spark = SparkSession.builder() .appName("HiveToKafk...

Raespark项目实战2024-03-281772 阅读0 评论

热文大数据实战系列（二）Spark 实现读取hive数据写入doris

上文《大数据实战系列（一）Spark 实现读取doris数据写入hive》我们实现了使用spark读取doris数据然后写入hive，这里的话我们来实现读取hive数据，写入doris。直接上代码： val spar...

Raespark项目实战2024-03-281385 阅读0 评论

热文大数据实战系列（一）Spark 实现读取doris数据写入hive

这个系列的话我们主要是记录一些实战的代码，方便大家在使用的时候实现直接照抄即可。本文主要介绍的是使用Spark实现读取doris数据并且写入hive的案例，直接上代码：//初始化spark env val spark...

Raespark项目实战2024-03-281617 阅读0 评论

热文Flink CDC实战系列（三）Flink cdc 把mysql数据写入到clickhouse

上文《Flink CDC实战系列（二）Flink cdc 把mysql数据写入到kafka》我们已经介绍了使用flink cdc把数据从mysql写入到kafka。本文的话我们介绍下使用flink cdc把数据从my...

Raeflink系列2024-03-202017 阅读1 评论

热文Flink CDC实战系列（二）Flink cdc 把mysql数据写入到kafka

上文《Flink CDC实战系列（一）Flink cdc 把mysql数据写入到elasticsearch》我们已经介绍了使用flink cdc把数据从mysql写入到elasticsearch。本文的话我们介绍下使...

Raeflink系列2024-03-201877 阅读0 评论

热文Dinky 实时计算平台系列（二十三）Dinky0.x版本升级到1.0版本的踩坑之路

最近Dinky1.0版本发布了，在这里详细记录下对应的踩坑之路。本文档会进行长期持续的更新。1）jdk问题这里我服务器安装的jdk的版本，但是启动的时候报错了，提示：Unrecognized VM option 'P...

Raeflink系列2024-03-201914 阅读0 评论

热文Flink CDC实战系列（一）Flink cdc 把mysql数据写入到elasticsearch

目前做数据仓库相关的工作中，我们涉及到大量的使用flink cdc把数据同步到各个数据环境中。所以基于此我们来编写一个常见的flink cdc使用示例，方便大家在使用的时候直接开箱即用即可。本文我们主要介绍的是使用f...

Raeflink系列2024-03-192035 阅读0 评论