Spark系列（五十三）Spark Structured Streaming对接kafka的配置参数 在上一个案例里面我们演示了使用spark structured streaming对接kafka的数据，但是在代码里面编写比较简单，这里我们完整的列举下使用到的kafka信息参数。一、必选参数：序号参数值说明1kaf... Raespark系列2022-12-14801 阅读0 评论
配置canal把数据发送到kafka中提升并发量 在上一篇文章《CDC工具Canal的安装并且使用JAVA客户端读取数据变更》我们介绍了搭建canal服务端，然后使用java程序监听数据的变化。在使用java客户端监听的时候，在大数据了的场景下这个就不合适了，因为并... Rae数据仓库2022-10-21760 阅读0 评论
使用docker安装kafka 最近需要使用到kafka，一看测试环境竟然没有，那就只能搭建一个，一般我们生产上都是使用tar包进行安装，毕竟像这种搞io类型的应用我们需要是尽量发挥他的性能。但是测试环境就不一样了，没有太高的要求，因此测试环境就使... Rae消息中间件2022-10-21948 阅读0 评论
