Hbase高级进阶系列(七)Hbase表Region过多怎么办? 我们知道在hbase中,所有的region之间会共享一块memstore内存区域,所以如果region越多,那么memsotre刷新的就会很频繁,此时会产生非常多小的HFiles,这些小的Hfile就会触发更多的合并... RaeHbase系列2023-11-29718 阅读0 评论
Hbase高级进阶系列(六)Hbase表设计之预分区 在前面的文章《Hbase高级进阶系列(三)Hbase表设计之行键设计》里面我们介绍了一般建议把rowkey做成hash来分散写入压力。在hbase中,一般在创建表的时候,默认是只创建一个region,后面随着数据的增... RaeHbase系列2023-11-29720 阅读0 评论
Hbase高级进阶系列(六)布隆过滤器 在hbase中,布隆过滤器是打开的,这个布隆过滤器主要的目的是为了方便检索region,减少磁盘i/o的操作。举个案例来说明hbase是如何应用布隆过滤器的:写操作当有数据发生写入的时候,首先我们会去找需要把这个数据... RaeHbase系列2023-11-29696 阅读0 评论
Hbase高级进阶系列(五)Hbase表设计之数据块编码 在前面我们介绍了数据块压缩,这里我们再介绍一个和数据块压缩配套使用的数据块编码。这个数据块编码是什么意思呢?其实就是每一个key会根据前 key 进行编码和压缩。这个编码选项( FAST_DIFF )让HBase只存... RaeHbase系列2023-11-29777 阅读0 评论
Hbase高级进阶系列(四)Hbase表设计之数据块压缩 在hbase的表里面,我们知道数据是以块的方式进行存储的,每一个块大小默认是64KB。但是这个块存储的数是默认没有压缩的。然后我们再回想一下,在hbase里面,每一列他存储的值其实都是特定的类型,那么如果我们对值进行... RaeHbase系列2023-11-29627 阅读0 评论
Hbase高级进阶系列(三)Hbase表设计之行键设计 在使用hbase做表的时候,表设计也是一个非常重要的概念,一个好的表设计可以为后期hbase的使用减少很多的麻烦。但是对于大多数企业来说,前期在设计表的时候,一般都是做简单的设计,随着后面业务的发展,此时整体表结构可... RaeHbase系列2023-11-29577 阅读0 评论
Hbase高级进阶系列(二)Hbase集群服务优化参考 在网上其实对于Hbase的优化文章比较多,所以这里我们不会讲解太多,但是主要还是基于几个点来讲解。在hbase进行优化的时候,我们一般要参考下以下几个指标:1、对服务器配置的优化2、对yarn的优化(hadoop... RaeHbase系列2023-11-29623 阅读0 评论
Hbase入门到进阶系列(四)Hbase基本命令使用 在前面我们介绍了hbase主要以表的形式进行存储,并且已经实现了hbase的部署,那么这里我们来演示以下hbase的使用。这里我们主要是使用hbase命令给让大家入门。首先进入到hbase的bin目录下,我们执行hb... RaeHbase系列2023-11-28818 阅读0 评论
Hbase高级进阶系列(一)Hbase集群服务器如何选择 这里我们介绍下Hbase的集群搭建中服务器的选择,为什么呢?这主要是由于这个集群服务器的选择是一个非常重要的事情,但是却是很多团队几乎忽略的事情。要么上来就是很高的配置,要么就是拿一些很低的配置做一个集群。大部分的团... RaeHbase系列2023-11-27652 阅读0 评论
Hbase入门到进阶系列(三)Hbase表物理存储介绍 上一篇《Hbase入门到进阶系列(二)Hbase表存储介绍》我们介绍了向hbase中存储数据的时候是使用表的方式进行存储的,本文我们再介绍下hbase中存储数据的物理存储时如何存储的,首先来一张图:上面这张表介绍的比... RaeHbase系列2023-11-23601 阅读0 评论
Hbase入门到进阶系列(二)Hbase表存储介绍 在hbase中,虽然他是面向列的方式存储数据,但是他也是以表的形式在存储数据,只是有一些和传统面向行的数据库存储形式不一样罢了。在hbase中数据存储还是在表里,整个表的存储要素有:1、rowkey(行键)2、t... RaeHbase系列2023-11-23461 阅读0 评论
Hbase入门到进阶系列(一)Hbase介绍 Hbase是hadoop大数据集系列的一个重要组成模块,官网上关于hbase的介绍是:HBase是一个基于Java,开源,NoSQL,非关系型、面向列的、构建在Hadoop分布式文件系统( HDFS&nbs... RaeHbase系列2023-11-22391 阅读0 评论
Hbase安装配置篇(一)Hbase2.5.3单机版安装教程 最近为了做DolphinScheduler的演示,因此需要一套大数据的环境,因此记录下这些大数据组件的安装。首先我们需要安装一个hbase的环境,这里我们使用的hbase版本是hbase-2.5.3-hadoop3,... RaeHbase系列2023-04-14848 阅读0 评论
HLL_UNION是agg表的列属性,unique不支持