Doris在生产环境中的一些最佳实践 大家好,一些经验和教训,总结一下,大家直接领走。 前缀索引 不同于传统的数据库设计,Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数... Rae /doris系列 /2023-12-07 /0 评论 /129 阅读
Apache Atlas血缘关系实战(四)atlas核心概念介绍 在前面我们已经安装部署好了atlas,并且也导入了演示数据,同时我们可以通过演示数据查看表与表之间,列与列之间的血缘关系。随后我们会演示如何自定义的创建一套自定义的血缘关系,在介绍之前,我们首先介绍一些atlas的核... Rae /数据仓库系列 /2023-11-15 /0 评论 /190 阅读
Apache Atlas血缘关系实战(一)血缘关系介绍 在本站我们介绍过一些数仓相关的知识点,但是对于在中型企业或者中大型企业甚至大企业的人来说,整个的数据仓库体系是非常大的,这里的数据来源,数据使用等等信息越往后做约复杂,所以如果涉及到那块的数据如果出现错误或者偏差的时... Rae /数据仓库系列 /2023-11-14 /0 评论 /156 阅读
Doris系列(四十八)Doris部署be节点配置参考 在日常中,我们经常会涉及到手动的部署doris,目前主要的流行方式是:1、使用operator在kubernetes中部署2、使用doris-manager部署3、使用传统方式进行部署目前使用较多的还是以传统... Rae /doris系列 /2023-10-16 /0 评论 /261 阅读
Doris系列(四十七)Doris部署fe节点配置参考 在日常中,我们经常会涉及到手动的部署doris,目前主要的流行方式是:1、使用operator在kubernetes中部署2、使用doris-manager部署3、使用传统方式进行部署目前使用较多的还是以传统... Rae /doris系列 /2023-10-16 /0 评论 /227 阅读
Doris系列(四十六)Doris从jdbc的catalog多数据源目录导入数据 在实际的情况下,我们经常会涉及到做数仓,那么数据同步就是一个很大的事情,目前基于数仓的产品的话,大部分都是使用doris来进行做数仓的构建,因此这里的话我们来演示下案例,就是从Doris的jdbc的catalog多数... Rae /doris系列 /2023-09-08 /0 评论 /237 阅读
Apache Paimon系列(六)Paimon搭配hive使用 在前面我们单独演示了一个paimon的案例,然后我们会发现去查询数据的时候继续使用flink,如果paimon中的数据需要对外提供服务,那此时我们使用flink去查就不合适了,因此在实际的场景中,这里的paimon和... Rae /Paimon系列 /2023-09-06 /0 评论 /271 阅读
Apache Paimon系列(五)查询Paimon中的数据 在上一篇文章《Apache Paimon系列(四)使用Dinky编写Paimon的案例》我们介绍了dinky上编写paimon作业,在文章的最后我们可以看到dinky上无法显示paimon中查询出来的数据,所以这块的... Rae /Paimon系列 /2023-09-06 /0 评论 /274 阅读
Apache Paimon系列(四)使用Dinky编写Paimon的案例 在前面我们介绍了Paimon是一个数据湖的框架,并且需要有底层分布式文件系统的支撑,所以对于这块的话,我们一般选择hdfs座位底层的存储。本文我们使用Dinky+Flink Table Sql+Paimon+hdfs... Rae /Paimon系列 /2023-09-06 /0 评论 /351 阅读
Doris系列(四十五)Doris的分词测试 在Doris中我们如果使用倒排索引的话,那么对应部分字段我们会涉及到分词,本文的话,我们来介绍下分词的使用测试案例。1)测试中文细粒度分词SELECT TOKENIZE('中华人民共和国',... Rae /doris系列 /2023-09-05 /0 评论 /207 阅读