Doris基础学习系列(五十三)doris使用minio数据备份与还原 前面其实介绍过《doris的数据备份》和《doris的数据备份》。但是这里的备份和还原都是早期的版本了,目前企业内部使用对象存储会更多一点,所以我们这里再编写一片doris使用minio来完成数据的备份和还原。前置条... Raedoris系列2025-03-07297 阅读0 评论
Doris实战系列(四)Doris+paimon+minio+flink实战案例 本文再介绍一个案例,结合目前比较流行的组合:doris+paimon+flink+minio的组合,实现使用flink把数据写入paimon中,数据真实存储在minio中,再使用doris进行读取。下面直接演示。具体... 帅平doris系列2024-12-24978 阅读0 评论
Doris实战系列(三)Doris查询之行转列实战+列转行实战 在日常的工作中,我们在设计表的时候都是把表作为一个实体,然后向这个实体里面添加一行行的数据。但是有时候我们会涉及到使用数据来进行聚合计算,也就是把行数据指标进行聚合,转换成列来展示效果。举个例子:现在有一个学生成绩的... 帅平doris系列2024-12-18747 阅读0 评论
Doris实战系列(二)Flink-cdc-mysql整库同步到doris(实现表schema动态变更) 在日常的大数据场景里面,我们经常会涉及到使用flink-cdc把源数据同步到数据仓库或者数据湖中,所以这里我们演示一下使用flink-cdc把mysql的数据同步到doris中。下面直接开始:一、前置条件这里我们演示... 帅平doris系列2024-12-18661 阅读1 评论
Doris基础学习系列(五十四)doris批量删除 在生产环境使用doris的时候,我们经常会涉及到删除数据的需求。大家是不是还在习惯使用delete from table where xxx=xxxx的形式?其实在doris中,一般不提倡使用delete来删除数据,... 帅平doris系列2024-12-17646 阅读1 评论
Doris基础学习系列(五十三)doris多表异步物化视图 在前面的文章《Doris基础学习系列(二十七)doris的物化视图》我们介绍了Doris表的物化视图,但是由于那个时候比较早,doris仅支持单表物化视图,即大家理解的同步物化视图。从doris2.1.5版本开始,d... 帅平doris系列2024-12-13679 阅读0 评论
Doris实战系列(一)同步物化视图实战案例 在doris中,同步的物化视图主要用于单表,他可以实现提前对单表的数据进行预聚合,在单表写入数据的时候,就会在物化视图表里面对数据进行预聚合计算,并把结果写入到物化视图中,如果后期需要查询相关聚合数据的时候就不用进行... 帅平doris系列2024-12-13549 阅读1 评论
Doris基础学习系列(五十二)Doris sql cache查询缓存使用 在doris中,虽然他是基于列式存储,查询速度很快。但是在实际的业务场景中,我们一般表的设计都会比较复杂,业务场景中编写的sql语句也会比较复杂。此时由于业务的复杂性,其实还是会出现查询较慢的情况。所以基于此,我们还... 帅平doris系列2024-12-13557 阅读0 评论
Doris基础学习系列(五十一)Doris Light Schema Change毫秒级变更数据表结构 在我们使用做数据仓库的时候,不管是dwd、dws,ads,dim层等,随着业务需求的增加,我们经常会涉及到在某张表里面添加一些列维度,既然是数仓,那么每张表的数据肯定是非常大的一个量级了,此时大家的做法是什么呢?常用... 帅平doris系列2024-12-11473 阅读0 评论
Doris基础学习系列(五十)doris的部分列更新 在使用doris做数据仓库的时候,不管是在dwd层或者dws层或者其他层,我们经常会涉及到更新某张表的数据,对应的应用场景有:1、更新现有表的部分列的值2、拼接大表,在现有表的基础上拼接上缺失的部分列数据,但是当... 帅平doris系列2024-12-11608 阅读0 评论
ClickHouse进阶系列(八)Projection投影 在clickhouse里面我们在创建表的时候需要根据order by字段进行排序,例如:create table xxx()engine = engine=MergeT... Rae数据仓库系列2024-02-23884 阅读0 评论
ClickHouse进阶系列(七)clickhouse查询语句之explain 这里在clickhouse里面的explain的话,主要是显示需要执行的sql计划。一般的使用方式是:explain select * from table上诉这种sql在几乎... Rae数据仓库系列2024-02-23690 阅读0 评论
ClickHouse进阶系列(六)clickhouse查询语句之Array Join 在日常的业务场景中,我们经常会涉及到向某张表里面保存array类型的字段,例如:然后在业务中我们可能需要的是列转行的方式,也就是说把id为2的用户根据classid进行拆分成两行,最后期望得到的结果是:在clickh... Rae数据仓库系列2024-02-23774 阅读0 评论
ClickHouse进阶系列(五)clickhouse查询语句之Sample采样 这里的clickhouse采样的话,主要意思就是我们可以不用查询出来某张表的所有数据,只需要抽样查看某一部分数据是否正确就可以了,有点类似于:select * from table&nb... Rae数据仓库系列2024-02-23856 阅读0 评论
ClickHouse进阶系列(四)clickhouse查询语句之with(宏) 我们知道在clickhouse里面可以直接执行sql。所以对于查询语句来说,可以直接使用sql92标准的sql都是兼容的。但是在clickhouse里面还有一些亮点的地方,我们在接下来的文章中进行演示。本文我们介绍第... Rae数据仓库系列2024-02-23782 阅读0 评论