热文大数据实战系列(五)Spark 实现读取kafka数据写入doris 日常工作中直接读取kafka的数据写入doris也是一个非常常见的场景,下面演示下使用spark读取kafka的数据写入doris。直接上代码:val kafkaSource = spark .readStream ... Raespark项目实战2024-03-281289 阅读0 评论
热文大数据实战系列(四)Spark 实现读取kafka数据写入hive 上文《大数据实战系列(三)Spark 实现读取hive数据写入kafka》我们实现了利用spark读取hive的数据写入kafka,本文的话我们实现利用spark读取kafka的数据然后写入hive中。直接上代码:v... Raespark项目实战2024-03-281318 阅读0 评论
热文大数据实战系列(三)Spark 实现读取hive数据写入kafka 本文的话,我们再介绍下使用使用spark实现读取hive的数据,然后把数据写入到kafka,直接上代码: val spark = SparkSession.builder() .appName("HiveToKafk... Raespark项目实战2024-03-281824 阅读0 评论
热文大数据实战系列(二)Spark 实现读取hive数据写入doris 上文《大数据实战系列(一)Spark 实现读取doris数据写入hive》我们实现了使用spark读取doris数据然后写入hive,这里的话我们来实现读取hive数据,写入doris。直接上代码: val spar... Raespark项目实战2024-03-281450 阅读0 评论
热文大数据实战系列(一)Spark 实现读取doris数据写入hive 这个系列的话我们主要是记录一些实战的代码,方便大家在使用的时候实现直接照抄即可。本文主要介绍的是使用Spark实现读取doris数据并且写入hive的案例,直接上代码://初始化spark env val spark... Raespark项目实战2024-03-281681 阅读0 评论
热文数仓架构构建实战思路(四)服务器分配评估很重要 上文《数仓架构构建实战思路(三)任务评估很重要》我们已经评估了任务和数据规模,当我们掌握这些信息之后,接下来就可以评估服务器集群规划了。也就是可以进入到采购阶段了。对于做数仓来说,一般如果是小公司的话,我们还是建议使... Rae数据仓库2024-03-271157 阅读0 评论
数仓架构构建实战思路(三)任务评估很重要 上文《数仓架构构建实战思路(二)数据测算很重要》我们对数据进行了测算,接下来就要对任务进行评估了。在数仓的建设中,任务评估也是一个非常重要的是,所有的任务无外乎以下几种:1、定时任务 2、批处理任务 3、流处理任务 ... Rae数据仓库2024-03-27834 阅读0 评论
数仓架构构建实战思路(二)数据测算很重要 上文《数仓架构构建实战思路(一)熟悉业务很重要》我们介绍了前期熟悉业务。这里的话我们就进入到数仓的实施阶段。既然要做数仓,那么说明产品相关的设计已经完成了。那么接下来我们就从0构建1个数仓,挨个来介绍数仓的建设思路。... Rae数据仓库2024-03-27902 阅读0 评论
热文数仓架构构建实战思路(一)熟悉业务很重要 最近又有时间了,所以准备更新一些实际在工作中会涉及到的一部分。目前主要是做学校相关的项目,我们的项目相对来说是属于ToB的,因此我们这边主要是面向学校做解决方案。那么基于学校的各种应用场景,我们会涉及到多套系统(目前... Rae数据仓库2024-03-271349 阅读0 评论
热文【分享】Java的CPU 飙升700%优化的真实案例 最近负责的一个项目上线,运行一段时间后发现对应的进程竟然占用了700%的CPU,导致公司的物理服务器都不堪重负,频繁宕机。那么,针对这类java进程CPU飙升的问题,我们一般要怎么去定位解决呢?、采用top命令定位进... Raejava2024-03-261166 阅读0 评论
热文【分享】MySQL CPU飙升到900%+数据库优化的真实案例 陈某提示:以下案例,来自互联网。大家参考一下,准备一个自己的案例。本问题亲身经历过。之前开发同事编写的SQL语句,就导致过线上CPU过高,MySQL的CPU使用率达到900%+,通过优化最后降低到70%~80%。下面... Raemysql学习2024-03-261135 阅读0 评论
热文Flink CDC实战系列(三)Flink cdc 把mysql数据写入到clickhouse 上文《Flink CDC实战系列(二)Flink cdc 把mysql数据写入到kafka》我们已经介绍了使用flink cdc把数据从mysql写入到kafka。本文的话我们介绍下使用flink cdc把数据从my... Raeflink系列2024-03-202076 阅读1 评论
热文Flink CDC实战系列(二)Flink cdc 把mysql数据写入到kafka 上文《Flink CDC实战系列(一)Flink cdc 把mysql数据写入到elasticsearch》我们已经介绍了使用flink cdc把数据从mysql写入到elasticsearch。本文的话我们介绍下使... Raeflink系列2024-03-201944 阅读0 评论
热文Dinky 实时计算平台系列(二十三)Dinky0.x版本升级到1.0版本的踩坑之路 最近Dinky1.0版本发布了,在这里详细记录下对应的踩坑之路。本文档会进行长期持续的更新。1)jdk问题这里我服务器安装的jdk的版本,但是启动的时候报错了,提示:Unrecognized VM option 'P... Raeflink系列2024-03-201979 阅读0 评论
热文Flink CDC实战系列(一)Flink cdc 把mysql数据写入到elasticsearch 目前做数据仓库相关的工作中,我们涉及到大量的使用flink cdc把数据同步到各个数据环境中。所以基于此我们来编写一个常见的flink cdc使用示例,方便大家在使用的时候直接开箱即用即可。本文我们主要介绍的是使用f... Raeflink系列2024-03-192104 阅读0 评论