数据湖 - 架构师学习大本营

Doris系列（三十六）Multi-Catalog 功能

在doris1.2版本开始，新提供了一种Multi-Catalog 功能，他的主要含义就是无缝对接外部异构的数据源，用户无需把数据导入到doris中，即可使用doris来创建一个Catalog，然后通过Catalog...

Rae /数据仓库 /2023-03-13 /0 评论 /118 阅读

在数据湖的解决方案里面，Delta Lake和Apache Hudi是目前非常火爆的两种数据湖的解决方案，前面我们介绍了Delta Lake，这篇文章我们介绍下Apache Hudi。Apache Hudi 摄取并管...

Rae /数据仓库 /2022-12-20 /0 评论 /82 阅读

在前面我们介绍过操作Delta Lake数据湖的时候，就像nosql一样，所有的操作都是追加操作而不是直接修改。因此基于上诉的原理，那么在Delta Lake内部肯定是维护了每一次修改的版本号，我们查询的时候默认是查...

Rae /数据仓库 /2022-12-19 /0 评论 /87 阅读

在spark中，目前使用比较强大的就是spark structured streaming，这是在日常工作中经常见到的场景。这篇文章我们介绍下使用流的方式读Delta Lake数据和写Delta Lake数据。一、从...

Rae /数据仓库 /2022-12-19 /0 评论 /104 阅读

在前面我们介绍了Delta Lake的安装，这篇文章我们介绍下数据湖的操作API，即ACID。一、写入数据到Delta Lake把数据写入到Delta Lake中很简单，因为Delta Lake强依赖spark，同时...

Rae /数据仓库 /2022-12-19 /0 评论 /140 阅读

前面我们介绍了delta lake，这篇文章我们来介绍下delta lake的安装使用。在核心上delta lake运行时离不开spark的，虽然他同时支持spark和presto，但是有同学可能问，我如果使用pre...

Rae /数据仓库 /2022-12-19 /0 评论 /144 阅读

在前面我们大致的介绍了数据湖，并且列举了几个比较常用的数据湖解决方案。这篇文章我们介绍下当下比较流行的数据湖解决方案之一Delta Lake。先来看看Delta Lake的整体架构：Delta Lake是Spark的...

Rae /数据仓库 /2022-12-19 /0 评论 /100 阅读

在最近几年由于大数据的火爆，企业级的数据呈现爆炸式的增长，在整个大数据的发展过程中经历了大致3个阶段：第一个阶段，企业慢慢向大数据转型，出现了像hadoop这样的底层大数据存储，同时由于hadoop自带分布式计算框架...

Rae /数据仓库 /2022-12-19 /0 评论 /72 阅读