使用kafka-ui可视化管理kafka案例 kafka目前在日常工作中使用的频率非常的高,有时候我们需要监控整个kafka集群的情况,因此这里我们推荐一个工具:kafka-ui的工具来进行可视化管理。本文我们演示下kafka-ui的使用情况。一、准备一个kaf... Rae /服务器运维 /2023-12-06 /0 评论 /670 阅读
Flink Sql开发系列(八)Flink Sql开发常用的建表语句模板 在flink sql开发中,我们必然会涉及到创建表的步骤,所以本文的话,我们介绍一些常用的建表语句模板。1)flink sql 创建kafka的表这里就是相当于with后面跟kafka,可以从kafka里面读取数据,... Rae /flink系列 /2023-08-01 /0 评论 /663 阅读
Docker-compose的方式快速部署kafka单机环境 本站在之前写过一些使用docker的方式部署kafka的文章,例如:《使用docker安装kafka》和《使用docker快速在服务器上搭建一套kafka环境》。我知道安装kafka的话,需要部署zookeeper,... Rae /服务器运维 /2023-07-29 /0 评论 /434 阅读
Spark案例介绍(六)spark structured streaming配合kafka实现滚动窗口数据统计 在生活中我们经常会遇到比如在每隔5分钟,统计用户的下单次数,每隔1分钟,统计下股票的涨跌数据等等,这种就是时间窗口相关的应用场景,在实际的工作中我们遇到的比比皆是,因此这篇文章我们主要给大家演示下使用spark st... Rae /spark项目实战 /2022-12-15 /0 评论 /364 阅读
Spark案例介绍(五)使用spark structured streaming实现kafka的读写数据 这篇文章我们完整的演示一下,利用spark structured streaming编写spark的流处理,从kafka里面消费json,然后把json转换成对象,再利用spark sql进行查询或者join等,计算... Rae /spark项目实战 /2022-12-14 /0 评论 /439 阅读
想要使用命令的方式在kafka中创建一个生产者测试生产发送数据应该怎么办? 想要使用命令的方式在kafka中创建一个生产者测试生产发送数据应该怎么办?... 帅平 /消息队列 /2022-12-14 /1 评论 /260 阅读
想要使用命令的方式在kafka中创建一个消费者测试消费数据应该怎么办? 想要使用命令的方式在kafka中创建一个消费者测试消费数据应该怎么办?... 帅平 /消息队列 /2022-12-14 /1 评论 /328 阅读
想要使用命令的方式在kafka中查看所有的topic列表应该怎么办? 想要使用命令的方式在kafka中查看所有的topic列表应该怎么办?... 帅平 /消息队列 /2022-12-14 /1 评论 /408 阅读
Spark系列(五十三)Spark Structured Streaming对接kafka的配置参数 在上一个案例里面我们演示了使用spark structured streaming对接kafka的数据,但是在代码里面编写比较简单,这里我们完整的列举下使用到的kafka信息参数。一、必选参数:序号参数值说明1kaf... Rae /spark系列 /2022-12-14 /0 评论 /307 阅读
配置canal把数据发送到kafka中提升并发量 在上一篇文章《CDC工具Canal的安装并且使用JAVA客户端读取数据变更》我们介绍了搭建canal服务端,然后使用java程序监听数据的变化。在使用java客户端监听的时候,在大数据了的场景下这个就不合适了,因为并... Rae /数据仓库 /2022-10-21 /0 评论 /275 阅读