大数据实战系列（五）Spark 实现读取kafka数据写入doris 日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景，下面演示下使用spark读取kafka的数据写入doris。直接上代码：val kafkaSource = spa... Rae spark项目实战 2024-03-28 245 阅读 0 评论
大数据实战系列（四）Spark 实现读取kafka数据写入hive 上文《大数据实战系列（三）Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka，本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码：v... Rae spark项目实战 2024-03-28 222 阅读 0 评论
大数据实战系列（三）Spark 实现读取hive数据写入kafka 本文的话，我们再介绍下使用使用spark实现读取hive的数据，然后把数据写入到kafka，直接上代码： val spark = SparkSession.builder()... Rae spark项目实战 2024-03-28 427 阅读 0 评论
大数据实战系列（二）Spark 实现读取hive数据写入doris 上文《大数据实战系列（一）Spark 实现读取doris数据写入hive》我们实现了使用spark读取doris数据然后写入hive，这里的话我们来实现读取hive数据，写入doris。直接上代码： val... Rae spark项目实战 2024-03-28 240 阅读 0 评论
大数据实战系列（一）Spark 实现读取doris数据写入hive 这个系列的话我们主要是记录一些实战的代码，方便大家在使用的时候实现直接照抄即可。本文主要介绍的是使用Spark实现读取doris数据并且写入hive的案例，直接上代码：//初始化spark envval... Rae spark项目实战 2024-03-28 318 阅读 0 评论
Flink CDC实战系列（三）Flink cdc 把mysql数据写入到clickhouse 上文《Flink CDC实战系列（二）Flink cdc 把mysql数据写入到kafka》我们已经介绍了使用flink cdc把数据从mysql写入到kafka。本文的话我们介绍下使用flink cdc把数据从my... Rae flink系列 2024-03-20 573 阅读 1 评论
Flink CDC实战系列（二）Flink cdc 把mysql数据写入到kafka 上文《Flink CDC实战系列（一）Flink cdc 把mysql数据写入到elasticsearch》我们已经介绍了使用flink cdc把数据从mysql写入到elasticsearch。本文的话我们介绍下使... Rae flink系列 2024-03-20 536 阅读 0 评论
Dinky 实时计算平台系列（二十三）Dinky0.x版本升级到1.0版本的踩坑之路 最近Dinky1.0版本发布了，在这里详细记录下对应的踩坑之路。本文档会进行长期持续的更新。1）jdk问题这里我服务器安装的jdk的版本，但是启动的时候报错了，提示：Unrecognized VM option &#... Rae flink系列 2024-03-20 546 阅读 0 评论
Flink CDC实战系列（一）Flink cdc 把mysql数据写入到elasticsearch 目前做数据仓库相关的工作中，我们涉及到大量的使用flink cdc把数据同步到各个数据环境中。所以基于此我们来编写一个常见的flink cdc使用示例，方便大家在使用的时候直接开箱即用即可。本文我们主要介绍的是使用f... Rae flink系列 2024-03-19 540 阅读 0 评论
zookeeper集群部署教程 在大数据的环境下，我们经常会涉及到zookeeper的部署。在开发与测试环境还好，但是在生产环境的话，我们就需要部署zookeeper集群了，并且zookeeper集群的个数一定要为奇数，所以本文我们演示下zooke... Rae 大数据 2024-02-19 196 阅读 0 评论
