Flink应用开发系列（六十八）FlinkCDC整库同步doris(支持表结构动态变更) 现如今大部分ToC的业务中都会有一些建数仓的需求，所以对于流批一体化建设数仓的需求非常多。目前建立流批一体化的数仓方案主要以Flinkcdc+doris为主（大多数企业目前几乎都在使用此方案）。所以这里我们也来介绍下... Rae /flink系列 /2023-12-08 /0 评论 /221 阅读
Doris在生产环境中的一些最佳实践 大家好，一些经验和教训，总结一下，大家直接领走。 前缀索引 不同于传统的数据库设计，Doris 不支持在任意列上创建索引。Doris 这类 MPP 架构的 OLAP 数... Rae /doris系列 /2023-12-07 /0 评论 /129 阅读
使用kafka-ui可视化管理kafka案例 kafka目前在日常工作中使用的频率非常的高，有时候我们需要监控整个kafka集群的情况，因此这里我们推荐一个工具：kafka-ui的工具来进行可视化管理。本文我们演示下kafka-ui的使用情况。一、准备一个kaf... Rae /服务器运维 /2023-12-06 /0 评论 /106 阅读
java生成二维码图片的案例 在一些ToC的场景里面，有时候会涉及到一些关于邀请码的一些激励机制。如果用户比较多的话，我们经常会在后台跑脚本批量给用户生成对应的二维码。然后在使用的时候直接回显对应的二维码即可。现在网上生成二维码的案例比较多，而且... Rae /java /2023-12-06 /0 评论 /89 阅读
以门户衰落为例，聊聊拼多多与字节逆袭的背后逻辑 最近7、8年字节和拼多多分别从内容领域和电商领域完成了市场份额的大逆袭，在原有人们认为格局已定的局面中，杀出了血路并能够持续增长，着实刷新着人们的认知。本篇以门户网站衰落作为案例，探讨拼多多与字节逆袭的深层逻辑。媒介... 小乐帝 /产品感悟 /2023-12-04 /0 评论 /87 阅读
Mybatis plus应用（八）使用dynamic-datasource-spring-boot-starter配置多数据源 前面我们演示了Mybatis plus的一些操作，在实际的业务中我们可能会涉及到以下的一些场景：1、面向2C的业务，数据库读写压力较大，配置了主从。2、面向数据分析，部分数据从A数据库查，部分数据从B数据库查以上的... Rae /java /2023-11-30 /0 评论 /196 阅读
Hbase高级进阶系列（七）Hbase表Region过多怎么办？ 我们知道在hbase中，所有的region之间会共享一块memstore内存区域，所以如果region越多，那么memsotre刷新的就会很频繁，此时会产生非常多小的HFiles，这些小的Hfile就会触发更多的合并... Rae /Hbase系列 /2023-11-29 /0 评论 /150 阅读
Hbase高级进阶系列（六）Hbase表设计之预分区 在前面的文章《Hbase高级进阶系列（三）Hbase表设计之行键设计》里面我们介绍了一般建议把rowkey做成hash来分散写入压力。在hbase中，一般在创建表的时候，默认是只创建一个region，后面随着数据的增... Rae /Hbase系列 /2023-11-29 /0 评论 /116 阅读
Hbase高级进阶系列（六）布隆过滤器 在hbase中，布隆过滤器是打开的，这个布隆过滤器主要的目的是为了方便检索region，减少磁盘i/o的操作。举个案例来说明hbase是如何应用布隆过滤器的：写操作当有数据发生写入的时候，首先我们会去找需要把这个数据... Rae /Hbase系列 /2023-11-29 /0 评论 /94 阅读
Hbase高级进阶系列（五）Hbase表设计之数据块编码 在前面我们介绍了数据块压缩，这里我们再介绍一个和数据块压缩配套使用的数据块编码。这个数据块编码是什么意思呢？其实就是每一个key会根据前 key 进行编码和压缩。这个编码选项（ FAST_DIFF ）让HBase只存... Rae /Hbase系列 /2023-11-29 /0 评论 /145 阅读
Rae
小乐帝
