数据仓库的建设演进方案介绍
现如今对于互联网公司来说,数据的积累越来越多,同时我们也需要最大化的挖掘数据的价值,因此在各个公司都会有数据仓库的建设。这篇文章浅谈下各业务公司在各个阶段对于数仓建设的演进和适配方案。本文仅谈谈相关的数据仓库的建设方...
这是关于 Doris 标签的相关文章列表
现如今对于互联网公司来说,数据的积累越来越多,同时我们也需要最大化的挖掘数据的价值,因此在各个公司都会有数据仓库的建设。这篇文章浅谈下各业务公司在各个阶段对于数仓建设的演进和适配方案。本文仅谈谈相关的数据仓库的建设方...
在doris中除了fe相关的监控之外,我们还会涉及到be的监控。be的监控访问地址是:http://{host}:{port}/metrics。be的端口一般是8040。例如:关于be相关的监控项内容有:序号监控项说...
在使用doris的时候,配置监控也是一个必须要操作的步骤。这篇文章我们介绍下doris的fe相关的监控信息。在doris中fe的监控访问地址是:http://{host}:{port}/metrics,端口一般是80...
这批文章开始我们介绍下doris的扩展能力,这批主要介绍在doris上结合es的搜索能力,实现在doris中使用sql查询es的结果。在doris中,我们使用Doris On Elasticsearch其实主要是为了...
在doris中,还有一个比较特殊的功能,就是为doris配置日志审计插件,这样子我们在doris中执行的任何sql都会被doris保存起来,以便后期用来进行数据分析及sql优化,这篇文章我们介绍下doris的审计日志...
在doris中,我们在前面介绍了使用bitmap进行精准去重,但是也说过这种数据一般也就是在亿级别即可。如果数据量更大,几十亿,几百亿的话,那么我们使用精准去重的代价就非常大。所以有没有什么好点的办法呢,这就是dor...
在doris中还有一个类型是bitmap,这个主要是为某张表单独创建一个字段,用于做精准去重,这样子的话,在做distinct的时候会非常快。下面用案例介绍下。一、创建一张shop_product_bitmap的表C...
在前面的文章我们介绍过了doris的broker导入,这批文章我们介绍下doris的Broker是什么?在Doris中Broker是一个单独的进程,他的安装包在doris的安装目录的fe目录里面。这里我们贴图看看我们...
在前面我们介绍过rollup,rollup相当于可以支持在Aggregate数据模型和Unique数据模型的表里面做预聚合的操作。在Duplicate里面是没有预聚合的,因此rollup只能起到更改字段顺序让其命中索...
在doris中使用join查询的时候,我们还可以利用Runtime Filter进行优化。他的原理是在join查询的时候会使用Filter对数据进行过滤,然后在各节点扫描表数据的时候可以减少扫描量,以此达到提高joi...