使用Dinky flink cdc把数据写入到hase中报错:hbase-default.xml file seems to be for an older version 把数据写入到hbase中报错:Caused by: java.lang.RuntimeException: hbase-default.xml file seems to be for an older vers... 帅平 /大数据 /2024-03-20 /4 评论 /26 阅读
Hbase高级进阶系列(七)Hbase表Region过多怎么办? 我们知道在hbase中,所有的region之间会共享一块memstore内存区域,所以如果region越多,那么memsotre刷新的就会很频繁,此时会产生非常多小的HFiles,这些小的Hfile就会触发更多的合并... Rae /Hbase系列 /2023-11-29 /0 评论 /274 阅读
Hbase高级进阶系列(六)Hbase表设计之预分区 在前面的文章《Hbase高级进阶系列(三)Hbase表设计之行键设计》里面我们介绍了一般建议把rowkey做成hash来分散写入压力。在hbase中,一般在创建表的时候,默认是只创建一个region,后面随着数据的增... Rae /Hbase系列 /2023-11-29 /0 评论 /241 阅读
Hbase高级进阶系列(六)布隆过滤器 在hbase中,布隆过滤器是打开的,这个布隆过滤器主要的目的是为了方便检索region,减少磁盘i/o的操作。举个案例来说明hbase是如何应用布隆过滤器的:写操作当有数据发生写入的时候,首先我们会去找需要把这个数据... Rae /Hbase系列 /2023-11-29 /0 评论 /231 阅读
Hbase高级进阶系列(五)Hbase表设计之数据块编码 在前面我们介绍了数据块压缩,这里我们再介绍一个和数据块压缩配套使用的数据块编码。这个数据块编码是什么意思呢?其实就是每一个key会根据前 key 进行编码和压缩。这个编码选项( FAST_DIFF )让HBase只存... Rae /Hbase系列 /2023-11-29 /0 评论 /236 阅读
Hbase高级进阶系列(四)Hbase表设计之数据块压缩 在hbase的表里面,我们知道数据是以块的方式进行存储的,每一个块大小默认是64KB。但是这个块存储的数是默认没有压缩的。然后我们再回想一下,在hbase里面,每一列他存储的值其实都是特定的类型,那么如果我们对值进行... Rae /Hbase系列 /2023-11-29 /0 评论 /183 阅读