热文Doris基础学习系列(三)doris的安装 其实在前面我们已经介绍过了Doris的安装,可以直接参考:构建一个完整的数据仓库(三)doris编译安装。这篇文章主要介绍的是使用doris做编译安装,这是由于之前doris的官网没有改版之前,提供的都是建议大家使用... Raedoris系列2022-11-011453 阅读0 评论
热文Doris基础学习系列(二)doris的整体架构 在上一篇我们介绍doris的时候贴过一张Doris的整体架构图,那么这篇文章我们围绕Doris的整体架构来详细介绍下。首先还是继续上整个Doris的整体架构图:基于上图,我们可以看到整个Doris架构有如下特点:1、... Raedoris系列2022-11-011118 阅读0 评论
热文Doris基础学习系列(一)什么是doris Doris目前在很多做数据类业务的公司都会或多或少的涉及到,特别是有的公司没有专业的大数据团队,但是业务的核心又是处理数据这种。那么此时Doris就是比较良好的选择。从这篇文章开始,我们将开始更新Doris相关的文章... Raedoris系列2022-11-011230 阅读0 评论
配置canal把数据发送到kafka中提升并发量 在上一篇文章《CDC工具Canal的安装并且使用JAVA客户端读取数据变更》我们介绍了搭建canal服务端,然后使用java程序监听数据的变化。在使用java客户端监听的时候,在大数据了的场景下这个就不合适了,因为并... Rae数据仓库2022-10-21766 阅读0 评论
热文CDC工具Canal的安装并且使用JAVA客户端读取数据变更 现各公司都在建设数仓,尤其现在的实时数仓,所以对于CDC的需求是非常硬性的,CDC在我们之前也有使用,因此准备更新下CDC相关的文章,本篇我们介绍Canal的服务端安装并且使用JAVA客户端读取数据变更。一、首先说下... Rae数据仓库2022-10-211769 阅读0 评论
doris如何为库表进行还原 上一篇《doris如何为库表进行备份》我们介绍了doris如何进行数据备份,这里我们演示下如何使用doris对数据进行还原。一、查看所有的备份show backup二、 删除test1库的student表drop t... Rae数据仓库2022-09-27946 阅读0 评论
热文doris如何为库表进行备份 在前面我们介绍了《doris如何安装apache_hdfs_broker》。之前我们提到过,hdfs_broker可以很方便的用于导入导出文件数据及备份还原,这篇文章我们介绍下如何依靠broker对doris进行库表... Rae数据仓库2022-09-271610 阅读0 评论
热文doris如何安装apache_hdfs_broker 我们从百度下载的doris安装包之后,在解压的目录里面我们可以看到整体是带有apache_hdfs_broker的,因此我们不需要再另外进行编译了。下面直接说下如何为doris安装apache_hdfs_broker... Rae数据仓库2022-09-271124 阅读0 评论
使用doris的物化视图的注意事项 在前面的文章介绍了一下doris的物化视图,是挺好用的,而且大大的提升了查询效率。但是由于物化视图是一个单独的物理表,也是需要存储数据的,所以在实际使用的场景里面还是要注意一些问题。一、在高吞吐量的场景像这种一定要控... Rae数据仓库2022-09-23743 阅读0 评论
热文实战doris的物化视图的使用 在前面其实我们介绍过物化视图,但是总体来说比较概念化,这篇文章我们再详细的介绍下doris的物化视图的使用。一、什么是物化视图在doris的0.12版本之前,我们习惯使用rollup表进行数据的聚合等操作,在dori... Rae数据仓库2022-09-231799 阅读0 评论
热文doris中的join查询优化要点之Join Reorder 在传统的mysql中,日常中,我们一般建议join的表不要超过3张。但是在数据仓库的环境下,我们一般经常会涉及到 4张表的join,5张表的join,乃至更多,那么在查询的时候,我们可能会涉及到各个表之间join的数... Rae数据仓库2022-06-271499 阅读0 评论
热文doris中的join查询优化要点之Runtime Filter Join 优化 在使用传统sql或者大数据的时候,当我们执行sql语句的时候,一般经常会听到:小结果join大结果,小表join大表。但其实说的最准确的应该是小结果join大结果。这样做的好处主要是减小内存数据的占用,同时减小分布式... Rae数据仓库2022-06-271272 阅读0 评论
热文doris的物化视图是什么?物化视图和rollup有什么区别? 最近我们一直在使用doris做数仓,在对外接口平台的开发过程中我们结合业务做了大量的sql查询接口,生产环境里面由于数据量确实非常大,所以部分sql使用传统的查询的时候非常的慢。所以需要进一步做sql优化。查询慢目前... Rae数据仓库2022-06-241643 阅读0 评论
热文构建一个完整的数据仓库(十四)doris进阶之数据更新 Rae数据仓库2022-04-211137 阅读0 评论 接上篇《构建一个完整的数据仓库(十三)doris进阶之导入数据的方式(中)》。前几篇文章我们介绍了把数据导入到doris中,这篇我们介绍下数据的更新。前提说明在doris中,他的更新操作只能存在云Unique 唯一主...
热文构建一个完整的数据仓库(十三)doris进阶之导入数据的方式(中) Rae数据仓库2022-04-211218 阅读0 评论 接上篇《构建一个完整的数据仓库(十二)doris进阶之导入数据的方式(上)》,我们介绍了把数据导入到doris的几种方法,这一篇我们继续接着讲。前提提示:之前我们安装的doris环境是在本地使用的服务器安装,但是本地...