热文Doris基础学习系列(三十三)Doris的Sql拦截功能 我们一般使用doris创建数仓之后,那么数仓里面存储的数据就会非常多。如果生产环境的数据没有太多备份或者备份还原代价很大的时候,那么我们就会要求各研发不允许做一些删除操作。想象一下如果我们只是要求大家不能这么做,但是... Raedoris系列2022-11-151558 阅读0 评论
热文Doris基础学习系列(三十二)Doris On Elasticsearch 这批文章开始我们介绍下doris的扩展能力,这批主要介绍在doris上结合es的搜索能力,实现在doris中使用sql查询es的结果。在doris中,我们使用Doris On Elasticsearch其实主要是为了... Raedoris系列2022-11-141456 阅读0 评论
热文Doris基础学习系列(三十一)doris的审计日志插件 在doris中,还有一个比较特殊的功能,就是为doris配置日志审计插件,这样子我们在doris中执行的任何sql都会被doris保存起来,以便后期用来进行数据分析及sql优化,这篇文章我们介绍下doris的审计日志... Raedoris系列2022-11-141628 阅读0 评论
热文Doris基础学习系列(三十)doris的HLL近似去重 在doris中,我们在前面介绍了使用bitmap进行精准去重,但是也说过这种数据一般也就是在亿级别即可。如果数据量更大,几十亿,几百亿的话,那么我们使用精准去重的代价就非常大。所以有没有什么好点的办法呢,这就是dor... Raedoris系列2022-11-141277 阅读0 评论
热文Doris基础学习系列(二十九)doris的BITMAP 在doris中还有一个类型是bitmap,这个主要是为某张表单独创建一个字段,用于做精准去重,这样子的话,在做distinct的时候会非常快。下面用案例介绍下。一、创建一张shop_product_bitmap的表C... Raedoris系列2022-11-112242 阅读0 评论
热文Doris基础学习系列(二十八)doris的Broker 在前面的文章我们介绍过了doris的broker导入,这批文章我们介绍下doris的Broker是什么?在Doris中Broker是一个单独的进程,他的安装包在doris的安装目录的fe目录里面。这里我们贴图看看我们... Raedoris系列2022-11-111393 阅读0 评论
热文Doris基础学习系列(二十七)doris的物化视图 在前面我们介绍过rollup,rollup相当于可以支持在Aggregate数据模型和Unique数据模型的表里面做预聚合的操作。在Duplicate里面是没有预聚合的,因此rollup只能起到更改字段顺序让其命中索... Raedoris系列2022-11-101268 阅读0 评论
热文Doris基础学习系列(二十六)doris的Join优化之Runtime Filter 在doris中使用join查询的时候,我们还可以利用Runtime Filter进行优化。他的原理是在join查询的时候会使用Filter对数据进行过滤,然后在各节点扫描表数据的时候可以减少扫描量,以此达到提高joi... Raedoris系列2022-11-101499 阅读0 评论
热文Doris基础学习系列(二十五)doris的Join优化之Colocation Join 在doris中,默认的join方式主要是两种,一种是Broadcast Join,另外一种是Shuffle Join。但是在doris中还支持其他的Join方式,例如:Colocate Join和Bucket Shu... Raedoris系列2022-11-091248 阅读0 评论
热文Doris基础学习系列(二十四)doris的Join优化之Bucket Shuffle Join 在doris中,默认的join方式主要是两种,一种是Broadcast Join,另外一种是Shuffle Join。但是在doris中还支持其他的Join方式,例如:Colocate Join和Bucket Shu... Raedoris系列2022-11-091165 阅读0 评论
热文Doris基础学习系列(二十三)doris的分区缓存 在日常的业务中,我们经常会遇到这样的场景,例如查询最近7天每天的新增用户数,那么这时候的sql样例如下:SELECT date,count(userid) FROM demo.user WHERE date>="20... Raedoris系列2022-11-091024 阅读0 评论
热文Doris基础学习系列(二十二)doris的表临时分区 上一篇我们介绍了doris的动态分区,这篇文章我们介绍下doris的临时分区。首先,临时分区是使用在哪些场景里面呢?在这里给大家介绍下:场景一:原来的某一张表的某一部分分区数据有误,需要重新导入,常规的操作就是先删除... Raedoris系列2022-11-091424 阅读0 评论
热文Doris基础学习系列(二十一)doris的表动态分区 在大数据的领域里面,我们经常会听说分区的概念,例如hive的分区是我们经常遇到的。今天介绍下Doris的动态分区。Doris的分区partition在前面已经介绍过了,暂时不做过多的介绍。我们知道在doris中创建表... Raedoris系列2022-11-091664 阅读0 评论
热文Doris基础学习系列(二十)doris的Sequence列 这篇文章我们介绍下Doris的Sequence列。这个列的作用主要是相当于给某张表的数据添加一个版本号。类似于我们在做分布式高并发的时候,会在数据库的表里面添加一个version的乐观锁字段。这样子每次插入的时候都需... Raedoris系列2022-11-091421 阅读0 评论
热文Doris基础学习系列(十九)doris的数据更新 在doris中,我们有时候会涉及到对表里面的数据进行更新的操作,例如我们有一张user表:此时我们发现在原始记录里面id为1的用户,他的姓名应该是张三,所以我们需要把这个id为1的记录的name修改为张三,此时我们只... Raedoris系列2022-11-091362 阅读0 评论