在前面的文章我们介绍过paimon是使用LSM树的形式吧文件以列式的方式存储在分布式文件系统(例如:hdfs)或者对象存储(例如:oss,s3)里面的。所以本文我们介绍下Paimon数据文件存储的部分。在Paimon...

作者 Rae 发布的文章
热文Apache Paimon系列(二)Painmon三大常用术语
上一篇文章《Apache Paimon系列(一)Paimon介绍》我们介绍了paimon相关的一些基础知识,本文的话,我们介绍下在paimon使用过程中经常使用到的3大术语,这三大术语分别是:快照 分区 桶相信接触过...
Paimon介绍在前面我们介绍过一些目前主流的数据湖相关的平台技术,例如:Hudi Iceberg Delta Lake这几个数据湖的技术上来说,Hudi目前在国内比较火,大家探讨或者平时接触的也会比较多一点,Ice...
Spring Cloud微服务项目模板系列(九)redisTemplate集成分布式锁
最近对项目进行并发测试,结果发现之前测试好的东西,这并发测试支持不到10个幸亏这个项目还没上线,如果上线了,这绝对是一个必须卷铺盖滚蛋的超级重大bug。没办法,只能挨个排查,首先排查报错,一看数据库执行报错,大量的m...
Go语言开发基础系列(四十一)Go语言向mysql插入数据
在前面的文章我们介绍了go语言相关的技术,这篇文章开始我们介绍下使用go语言操作数据库,这也是在日常生活中必然会使用到的技巧。在go语言里面,我们要操作数据库,需要做两件事,分别是:1、引入数据库的驱动 2、引入操作...
Go语言开发基础系列(四十)Go语言操作mysql的数据查询
在前面的文章我们介绍了go语言相关的技术,这篇文章开始我们介绍下使用go语言操作数据库,这也是在日常生活中必然会使用到的技巧。在go语言里面,我们要操作数据库,需要做两件事,分别是:1、引入数据库的驱动 2、引入操作...
Redis实战场景系列应用(六)近似统计
在实际的业务中,例如电商的场景里面,对于某一个商品的uv访问量我们会比较看重,为什么呢?这主要是由于我们需要做智能推荐。同时我们后台也可能存在数据统计,哪些商品每天的访问量比较靠前。这时候我们怎么办呢?有一些小伙伴说...
Redis实战场景系列应用(五)二值状态查询与统计
在实际工作中,我们经常可能会涉及到一些数据的统计,例如还是微博的使用场景,假设现在需要统计下这个月的微博用户的日活,也就是需要统计下最近一个月有哪些用户登录过微博,这样的场景我们怎么办呢?可能一些小伙伴说我们把用户登...
在实际的业务中,大家大多都是把redis作为缓存来使用的。但是大家有没有想过把redis作为其他的形式来使用呢?现在我们给大家介绍下redis在实际应用场景里面,不仅限于作为缓存使用,我们还可以用来做很多数据库相关的...
Redis实战场景系列应用(三)求并集
在实际的业务中,大家大多都是把redis作为缓存来使用的。但是大家有没有想过把redis作为其他的形式来使用呢?现在我们给大家介绍下redis在实际应用场景里面,不仅限于作为缓存使用,我们还可以用来做很多数据库相关的...
Redis实战场景系列应用(二)求差集
在实际的业务中,大家大多都是把redis作为缓存来使用的。但是大家有没有想过把redis作为其他的形式来使用呢?现在我们给大家介绍下redis在实际应用场景里面,不仅限于作为缓存使用,我们还可以用来做很多数据库相关的...
Redis实战场景系列应用(一)求交集
在实际的业务中,大家大多都是把redis作为缓存来使用的。但是大家有没有想过把redis作为其他的形式来使用呢?现在我们给大家介绍下redis在实际应用场景里面,不仅限于作为缓存使用,我们还可以用来做很多数据库相关的...
热文分布式调度系统Apache DolphinScheduler系列(十二)datax增量同步数据的实用方式
在前面的文章《分布式调度系统Apache DolphinScheduler系列(四)配置datax的增量同步》我们已经介绍过了datax中使用增量同步,但是这里的增量同步会涉及到一些数据问题,因为他只能通过全局设置的...
一切烦恼都源自人际关系,自由的代价是被别人讨厌
生活给我们各种束缚,表面看,这些束缚是时间的,金钱的,人际关系的,但实际上,这些束缚是心灵的。第一个束缚来自过去。弗洛伊德认为潜意识是童年经历的产物,很多人逃不脱童年的阴影,这些“过去”决定我们的人生。这是错误的。第...