Flink学习系列(二)flink是什么
承接上篇《Flink学习系列(一)wordcount》。我们先写了一个demo,运行了一下flink程序,然后我们看到了flink运行起来是一个什么样子。这篇文章我们就介绍下flink具体是什么。一、flink是什么...
Flink学习系列(一)wordcount
在学习flink的时候,大家一般会先去查下资料了解下flink是一个什么东西。但是对于我的了解来说,我一般会先看看这项技术是一个什么东西,能实现什么效果,然后再逐渐推进对应的学习上。由于我这边已经了解Flink了,所...
kafka生产者代码示例demo
这里写一个kafka生产者的代码示例,方便后期拿来即可使用。1、pom.xml中引入kafka的依赖<!-- https://mvnrepository.com/artifact/org.apache...
doris中的join查询优化要点之Join Reorder
在传统的mysql中,日常中,我们一般建议join的表不要超过3张。但是在数据仓库的环境下,我们一般经常会涉及到 4张表的join,5张表的join,乃至更多,那么在查询的时候,我们可能会涉及到各个表之间join的数...
doris中的join查询优化要点之Runtime Filter Join 优化
在使用传统sql或者大数据的时候,当我们执行sql语句的时候,一般经常会听到:小结果join大结果,小表join大表。但其实说的最准确的应该是小结果join大结果。这样做的好处主要是减小内存数据的占用,同时减小分布式...
doris的物化视图是什么?物化视图和rollup有什么区别?
最近我们一直在使用doris做数仓,在对外接口平台的开发过程中我们结合业务做了大量的sql查询接口,生产环境里面由于数据量确实非常大,所以部分sql使用传统的查询的时候非常的慢。所以需要进一步做sql优化。查询慢目前...
doris单表预计有20多亿数据,需要进行去重统计执行非常慢怎么办?
线上我们有一张用户操作表,在数据大盘中有统计每日有多少用户,进行了操作的需求。由于源表中我们用户操作一次就会把数据插入一次保存到doris中,所以我们需要进行精准的判断。在传统的mysql中,我们可能使用 selec...
doris单表预计有20多亿数据,使用count查询很慢怎么办?
笔者在生产环境中的某张表里面目前数据量已经达到了20多亿,由于目前在数据仓库的建设初期,还未十分完善,因此在业务中的数据大盘的报表里面大量的使用了count操作,并且创建表的时候使用了日期作为分区,但是查询还是很慢,...