使用 fink-doris-connector 写 doris 的时候报错:Writing records to streamload failed 使用 fink-doris-connector 写 doris 的时候报错:Writing records to streamload failed。如下图:... 帅平大数据2023-05-06823 阅读1 评论
热文Doris中,flink的sink.label-prefix是怎么处理的,如何拼接? Doris中,使用flink连接的时候,需要配置sink,请问这个sink.label-prefix是怎么处理的,如何拼接?... 帅平大数据2023-05-061545 阅读2 评论
热文分布式调度系统Apache DolphinScheduler系列(十)使用DolphinScheduler执行flink sql任务 在DolphinScheduler的flink组件中,除了执行常规的batch和stream项目,这里还可以直接配置flink sql。如果配置flink sql的话,这里执行的是sql-client.sh的执行方式... RaeDolphin系列2023-04-203013 阅读0 评论
热文分布式调度系统Apache DolphinScheduler系列(九)使用DolphinScheduler执行flink job任务 上一篇文章《分布式调度系统Apache DolphinScheduler系列(八)使用DolphinScheduler执行hive cli》我们介绍了在DolphinScheduler上配置hive cli,这篇文章... RaeDolphin系列2023-04-192876 阅读0 评论
热文报错:you can disable this check with the configuration 'classloader.check-leaked-classloader'. 使用Dolphinscheduler 运行flink job的时候,我们能看到执行成功,但是在最后会报错: Exception in thread "Thread-4" java.lang.IllegalStateE... 帅平大数据2023-04-191261 阅读1 评论
热文Flink流处理系列(八)Flink sql可视化平台flink-streaming-platform-web安装教程 在实际的工作中,我们对于内部做数据分析的业务场景里面,我们会使用到大量的flink sql,但是我们不需要写一条sql就编写一个flink sql job,因此我们会使用到可视化工具来完成这个任务,这篇文章我们介绍下... Raeflink系列2023-04-041482 阅读0 评论
热文Flink系列(二十八)CEP(复杂事件处理 Complex Event Processing) 在flink流处理过程中,我们经常会遇到事件处理,例如双十一的时候,经过flink流处理的实时统计数据大盘,例如在业务系统的在线流风控系统等等业务场景,这时候我们一般会在flink中去读取流然后做我们想要操作的业务规... Raeflink系列2023-03-171533 阅读0 评论
热文Flink流处理系列(七)使用flink的CEP复杂事件,实现用户登录的风控预警 这篇文章我们继续开启Flink流处理的实战环节,这篇文章我们利用Flink的CEP复杂事件来实现用户登录的风控预警。首先简要的介绍下CEP,CEP可以看做是flink中专门用于处理复杂事件的规则触发器,他的执行流程是... Raeflink系列2023-03-171633 阅读0 评论
热文Flink流处理系列(六)flink实现多数据源水位线的inner join 在前面的文章我们主要介绍了flink多数据源的时间窗口,然后对数据进行计算,但是试想一下,真实的生产环境中我们经常多数据源都是乱序的,所以此时我们多个数据源拿过来进行join的时候,由于数据处理的延迟,会导致如下情况... Raeflink系列2023-03-131519 阅读0 评论
热文Flink流处理系列(五)flink实现多数据源的inner join 上一篇文章《Flink流处理系列(四)flink读取多数据源》我们介绍了在flink流处理中实现多数据源的读取。在实际的场景业务中,一般我们多数据源把数据读取进来之后,肯定不是直接转存到其他地方这么简单,一般的应用场... Raeflink系列2023-03-021792 阅读0 评论
热文Flink流处理系列(四)flink读取多数据源 上一篇文章《Flink流处理系列(三)flink cdc读取mysql binlog》我们介绍了一下使用flink的cdc来读取mysql。这篇文章我们的案例代码还是在上一篇的基础上改动即可。在实际的业务中,我们经常... Raeflink系列2023-03-012311 阅读0 评论
热文Flink流处理系列(三)flink cdc读取mysql binlog 这是flink流处理的第三篇文章,咱们介绍下使用flink的cdc功能,读取mysql的binlog实现数据同步。下面直接实战演示下:一、安装mysql安装mysql的话,,这里选择5.7或者8.x的版本都可以,建议... Raeflink系列2023-03-013126 阅读0 评论
热文Flink流处理系列(二)standalone集群安装 上一篇我们介绍了flink流处理的第一个demo,即wordcount。同时我们也演示了把job任务提交到flink的standalone集群里面。这篇文章我们介绍下如何安装部署flink的standalone集群。... Raeflink系列2022-12-281791 阅读0 评论
热文Flink流处理系列(一)对接kafka演示Flink流处理的wordcount 在前面我们介绍了flink相关的知识点,从本文开始我们着重介绍下flink里面的流处理。因为在flink里面,他的流处理使用范围是最广的,主要是由于他相对于spark来说,这里的流处理是准实时的,可以实现毫秒级别处理... Raeflink系列2022-12-281253 阅读0 评论