Flink应用开发系列（六十八）FlinkCDC整库同步doris(支持表结构动态变更) 现如今大部分ToC的业务中都会有一些建数仓的需求，所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主（大多数企业目前几乎都在使用此方案）。所以这里我们也来介绍下... Rae /flink系列 /2023-12-08 /0 评论 /221 阅读
Hbase高级进阶系列（七）Hbase表Region过多怎么办？ 我们知道在hbase中，所有的region之间会共享一块memstore内存区域，所以如果region越多，那么memsotre刷新的就会很频繁，此时会产生非常多小的HFiles，这些小的Hfile就会触发更多的合并... Rae /Hbase系列 /2023-11-29 /0 评论 /150 阅读
Hbase高级进阶系列（六）Hbase表设计之预分区 在前面的文章《Hbase高级进阶系列（三）Hbase表设计之行键设计》里面我们介绍了一般建议把rowkey做成hash来分散写入压力。在hbase中，一般在创建表的时候，默认是只创建一个region，后面随着数据的增... Rae /Hbase系列 /2023-11-29 /0 评论 /116 阅读
Hbase高级进阶系列（六）布隆过滤器 在hbase中，布隆过滤器是打开的，这个布隆过滤器主要的目的是为了方便检索region，减少磁盘i/o的操作。举个案例来说明hbase是如何应用布隆过滤器的：写操作当有数据发生写入的时候，首先我们会去找需要把这个数据... Rae /Hbase系列 /2023-11-29 /0 评论 /94 阅读
Hbase高级进阶系列（五）Hbase表设计之数据块编码 在前面我们介绍了数据块压缩，这里我们再介绍一个和数据块压缩配套使用的数据块编码。这个数据块编码是什么意思呢？其实就是每一个key会根据前 key 进行编码和压缩。这个编码选项（ FAST_DIFF ）让HBase只存... Rae /Hbase系列 /2023-11-29 /0 评论 /145 阅读
Hbase高级进阶系列（四）Hbase表设计之数据块压缩 在hbase的表里面，我们知道数据是以块的方式进行存储的，每一个块大小默认是64KB。但是这个块存储的数是默认没有压缩的。然后我们再回想一下，在hbase里面，每一列他存储的值其实都是特定的类型，那么如果我们对值进行... Rae /Hbase系列 /2023-11-29 /0 评论 /90 阅读
Hbase高级进阶系列（三）Hbase表设计之行键设计 在使用hbase做表的时候，表设计也是一个非常重要的概念，一个好的表设计可以为后期hbase的使用减少很多的麻烦。但是对于大多数企业来说，前期在设计表的时候，一般都是做简单的设计，随着后面业务的发展，此时整体表结构可... Rae /Hbase系列 /2023-11-29 /0 评论 /108 阅读
Hbase高级进阶系列（二）Hbase集群服务优化参考 在网上其实对于Hbase的优化文章比较多，所以这里我们不会讲解太多，但是主要还是基于几个点来讲解。在hbase进行优化的时候，我们一般要参考下以下几个指标：1、对服务器配置的优化2、对yarn的优化（hadoop... Rae /Hbase系列 /2023-11-29 /0 评论 /109 阅读
Hbase入门到进阶系列（四）Hbase基本命令使用 在前面我们介绍了hbase主要以表的形式进行存储，并且已经实现了hbase的部署，那么这里我们来演示以下hbase的使用。这里我们主要是使用hbase命令给让大家入门。首先进入到hbase的bin目录下，我们执行hb... Rae /Hbase系列 /2023-11-28 /0 评论 /120 阅读
Hbase高级进阶系列（一）Hbase集群服务器如何选择 这里我们介绍下Hbase的集群搭建中服务器的选择，为什么呢？这主要是由于这个集群服务器的选择是一个非常重要的事情，但是却是很多团队几乎忽略的事情。要么上来就是很高的配置，要么就是拿一些很低的配置做一个集群。大部分的团... Rae /Hbase系列 /2023-11-27 /0 评论 /116 阅读
Rae
