Hbase高级进阶系列(七)Hbase表Region过多怎么办? 我们知道在hbase中,所有的region之间会共享一块memstore内存区域,所以如果region越多,那么memsotre刷新的就会很频繁,此时会产生非常多小的HFiles,这些小的Hfile就会触发更多的合并... Rae Hbase系列 2023-11-29 396 阅读 0 评论
Hbase高级进阶系列(六)Hbase表设计之预分区 在前面的文章《Hbase高级进阶系列(三)Hbase表设计之行键设计》里面我们介绍了一般建议把rowkey做成hash来分散写入压力。在hbase中,一般在创建表的时候,默认是只创建一个region,后面随着数据的增... Rae Hbase系列 2023-11-29 395 阅读 0 评论
Hbase高级进阶系列(六)布隆过滤器 在hbase中,布隆过滤器是打开的,这个布隆过滤器主要的目的是为了方便检索region,减少磁盘i/o的操作。举个案例来说明hbase是如何应用布隆过滤器的:写操作当有数据发生写入的时候,首先我们会去找需要把这个数据... Rae Hbase系列 2023-11-29 412 阅读 0 评论
Hbase高级进阶系列(五)Hbase表设计之数据块编码 在前面我们介绍了数据块压缩,这里我们再介绍一个和数据块压缩配套使用的数据块编码。这个数据块编码是什么意思呢?其实就是每一个key会根据前 key 进行编码和压缩。这个编码选项( FAST_DIFF )让HBase只存... Rae Hbase系列 2023-11-29 451 阅读 0 评论
Hbase高级进阶系列(四)Hbase表设计之数据块压缩 在hbase的表里面,我们知道数据是以块的方式进行存储的,每一个块大小默认是64KB。但是这个块存储的数是默认没有压缩的。然后我们再回想一下,在hbase里面,每一列他存储的值其实都是特定的类型,那么如果我们对值进行... Rae Hbase系列 2023-11-29 353 阅读 0 评论
Hbase高级进阶系列(三)Hbase表设计之行键设计 在使用hbase做表的时候,表设计也是一个非常重要的概念,一个好的表设计可以为后期hbase的使用减少很多的麻烦。但是对于大多数企业来说,前期在设计表的时候,一般都是做简单的设计,随着后面业务的发展,此时整体表结构可... Rae Hbase系列 2023-11-29 301 阅读 0 评论
Hbase高级进阶系列(二)Hbase集群服务优化参考 在网上其实对于Hbase的优化文章比较多,所以这里我们不会讲解太多,但是主要还是基于几个点来讲解。在hbase进行优化的时候,我们一般要参考下以下几个指标:1、对服务器配置的优化2、对yarn的优化(hadoop... Rae Hbase系列 2023-11-29 374 阅读 0 评论
Hbase入门到进阶系列(四)Hbase基本命令使用 在前面我们介绍了hbase主要以表的形式进行存储,并且已经实现了hbase的部署,那么这里我们来演示以下hbase的使用。这里我们主要是使用hbase命令给让大家入门。首先进入到hbase的bin目录下,我们执行hb... Rae Hbase系列 2023-11-28 450 阅读 0 评论
Hbase高级进阶系列(一)Hbase集群服务器如何选择 这里我们介绍下Hbase的集群搭建中服务器的选择,为什么呢?这主要是由于这个集群服务器的选择是一个非常重要的事情,但是却是很多团队几乎忽略的事情。要么上来就是很高的配置,要么就是拿一些很低的配置做一个集群。大部分的团... Rae Hbase系列 2023-11-27 404 阅读 0 评论
Hbase入门到进阶系列(三)Hbase表物理存储介绍 上一篇《Hbase入门到进阶系列(二)Hbase表存储介绍》我们介绍了向hbase中存储数据的时候是使用表的方式进行存储的,本文我们再介绍下hbase中存储数据的物理存储时如何存储的,首先来一张图:上面这张表介绍的比... Rae Hbase系列 2023-11-23 360 阅读 0 评论