线上Apache Doris 数据均衡问题排查思路总结

群里最近有部分小伙伴反馈，他们线上的doris集群版本出现一些数据均衡的问题，主要现象就是查询变慢，数据落点不均匀等情况，这里我们提供一些相关的排查思路来解决doris数据不均衡的问题。这些主要也是基于我自己的一些思...

帅平doris系列2025-11-06502 阅读0 评论

热文Doris基础学习系列（五十三）doris使用minio数据备份与还原

前面其实介绍过《doris的数据备份》和《doris的数据备份》。但是这里的备份和还原都是早期的版本了，目前企业内部使用对象存储会更多一点，所以我们这里再编写一片doris使用minio来完成数据的备份和还原。前置条...

Raedoris系列2025-03-071435 阅读0 评论

热文Doris实战系列（四）Doris+paimon+minio+flink实战案例

本文再介绍一个案例，结合目前比较流行的组合：doris+paimon+flink+minio的组合，实现使用flink把数据写入paimon中，数据真实存储在minio中，再使用doris进行读取。下面直接演示。具体...

帅平doris系列2024-12-242372 阅读0 评论

热文Doris实战系列（三）Doris查询之行转列实战+列转行实战

在日常的工作中，我们在设计表的时候都是把表作为一个实体，然后向这个实体里面添加一行行的数据。但是有时候我们会涉及到使用数据来进行聚合计算，也就是把行数据指标进行聚合，转换成列来展示效果。举个例子：现在有一个学生成绩的...

帅平doris系列2024-12-181642 阅读0 评论

热文Doris实战系列（二）Flink-cdc-mysql整库同步到doris（实现表schema动态变更）

在日常的大数据场景里面，我们经常会涉及到使用flink-cdc把源数据同步到数据仓库或者数据湖中，所以这里我们演示一下使用flink-cdc把mysql的数据同步到doris中。下面直接开始：一、前置条件这里我们演示...

帅平doris系列2024-12-181382 阅读1 评论

热文Doris基础学习系列（五十四）doris批量删除

在生产环境使用doris的时候，我们经常会涉及到删除数据的需求。大家是不是还在习惯使用delete from table where xxx=xxxx的形式？其实在doris中，一般不提倡使用delete来删除数据，...

帅平doris系列2024-12-171535 阅读1 评论

热文Doris基础学习系列（五十三）doris多表异步物化视图

在前面的文章《Doris基础学习系列（二十七）doris的物化视图》我们介绍了Doris表的物化视图，但是由于那个时候比较早，doris仅支持单表物化视图，即大家理解的同步物化视图。从doris2.1.5版本开始，d...

帅平doris系列2024-12-131380 阅读0 评论

热文Doris实战系列（一）同步物化视图实战案例

在doris中，同步的物化视图主要用于单表，他可以实现提前对单表的数据进行预聚合，在单表写入数据的时候，就会在物化视图表里面对数据进行预聚合计算，并把结果写入到物化视图中，如果后期需要查询相关聚合数据的时候就不用进行...

帅平doris系列2024-12-131099 阅读1 评论

热文Doris基础学习系列（五十二）Doris sql cache查询缓存使用

在doris中，虽然他是基于列式存储，查询速度很快。但是在实际的业务场景中，我们一般表的设计都会比较复杂，业务场景中编写的sql语句也会比较复杂。此时由于业务的复杂性，其实还是会出现查询较慢的情况。所以基于此，我们还...

帅平doris系列2024-12-131198 阅读0 评论

热文Doris基础学习系列（五十一）Doris Light Schema Change毫秒级变更数据表结构

在我们使用做数据仓库的时候，不管是dwd、dws，ads，dim层等，随着业务需求的增加，我们经常会涉及到在某张表里面添加一些列维度，既然是数仓，那么每张表的数据肯定是非常大的一个量级了，此时大家的做法是什么呢？常用...

帅平doris系列2024-12-111170 阅读0 评论

热文Doris基础学习系列（五十）doris的部分列更新

在使用doris做数据仓库的时候，不管是在dwd层或者dws层或者其他层，我们经常会涉及到更新某张表的数据，对应的应用场景有：1、更新现有表的部分列的值 2、拼接大表，在现有表的基础上拼接上缺失的部分列数据，但是当前...

帅平doris系列2024-12-111384 阅读0 评论

热文ClickHouse进阶系列（八）Projection投影

在clickhouse里面我们在创建表的时候需要根据order by字段进行排序，例如：create table xxx( )engine = engine=MergeTree() order by a,b,c此时整...

Rae数据仓库系列2024-02-231386 阅读0 评论

热文ClickHouse进阶系列（七）clickhouse查询语句之explain

这里在clickhouse里面的explain的话，主要是显示需要执行的sql计划。一般的使用方式是：explain select * from table上诉这种sql在几乎都有使用sql规范的数据库都好使，当然在...

Rae数据仓库系列2024-02-231188 阅读0 评论

热文ClickHouse进阶系列（六）clickhouse查询语句之Array Join

在日常的业务场景中，我们经常会涉及到向某张表里面保存array类型的字段，例如：然后在业务中我们可能需要的是列转行的方式，也就是说把id为2的用户根据classid进行拆分成两行，最后期望得到的结果是：在clickh...

Rae数据仓库系列2024-02-231296 阅读0 评论

热文ClickHouse进阶系列（五）clickhouse查询语句之Sample采样

这里的clickhouse采样的话，主要意思就是我们可以不用查询出来某张表的所有数据，只需要抽样查看某一部分数据是否正确就可以了，有点类似于：select * from table limit random()在cl...

Rae数据仓库系列2024-02-231352 阅读0 评论