Flink系列(二十八)CEP(复杂事件处理 Complex Event Processing)
在flink流处理过程中,我们经常会遇到事件处理,例如双十一的时候,经过flink流处理的实时统计数据大盘,例如在业务系统的在线流风控系统等等业务场景,这时候我们一般会在flink中去读取流然后做我们想要操作的业务规...
这是关于 大数据 分类的相关文章列表
在flink流处理过程中,我们经常会遇到事件处理,例如双十一的时候,经过flink流处理的实时统计数据大盘,例如在业务系统的在线流风控系统等等业务场景,这时候我们一般会在flink中去读取流然后做我们想要操作的业务规...
这篇文章我们继续开启Flink流处理的实战环节,这篇文章我们利用Flink的CEP复杂事件来实现用户登录的风控预警。首先简要的介绍下CEP,CEP可以看做是flink中专门用于处理复杂事件的规则触发器,他的执行流程是...
在做数据仓库的时候,我们经常会涉及到对表进行分区,这些分区策略有:按照用户进行分区,这里主要是hash分区按照每日一个分区,这里主要是时间分区按照每周一个分区,这里主要是时间分区按照每月一个分区,这里主要...
在doris1.2版本开始,新提供了一种Multi-Catalog 功能,他的主要含义就是无缝对接外部异构的数据源,用户无需把数据导入到doris中,即可使用doris来创建一个Catalog,然后通过Catalog...
在前面的文章我们主要介绍了flink多数据源的时间窗口,然后对数据进行计算,但是试想一下,真实的生产环境中我们经常多数据源都是乱序的,所以此时我们多个数据源拿过来进行join的时候,由于数据处理的延迟,会导致如下情况...
上一篇文章《Flink流处理系列(四)flink读取多数据源》我们介绍了在flink流处理中实现多数据源的读取。在实际的场景业务中,一般我们多数据源把数据读取进来之后,肯定不是直接转存到其他地方这么简单,一般的应用场...
上一篇文章《Flink流处理系列(三)flink cdc读取mysql binlog》我们介绍了一下使用flink的cdc来读取mysql。这篇文章我们的案例代码还是在上一篇的基础上改动即可。在实际的业务中,我们经常...
这是flink流处理的第三篇文章,咱们介绍下使用flink的cdc功能,读取mysql的binlog实现数据同步。下面直接实战演示下:一、安装mysql安装mysql的话,,这里选择5.7或者8.x的版本都可以,建议...
使用到elasticsearch的话,我们经常会涉及到优化的事情。那么优化具体如何入手呢?其实我觉得可以从以下几个方面入手:一、集群规划方面1.1、基于目标数据量规划集群在业务初期,经常被问到的问题,要几个节点的集群...
在elasticsearch部署的时候,一般我们修改下clustername和nodename后,其他的配置项我们保持默认的就可以启动起来。但是这样的一个环境在生产中一般是不会被允许的,因此我们在生产环境中还是会涉及...