上文《异地多活架构梳理演变（七）同城双活》我们介绍了同城双活的部署方式实现系统的高可用。但是这里其实还是会出现一种可能得情况，即：1、两个机房存在同一个城市。 2、如果整个城市发生灾害，例如地震，水灾等重大自然灾害的...
RaeV管理员
文章 1946 篇 | 评论 3720 次
作者 Rae 发布的文章
上文《异地多活架构梳理演变（六）同城灾备》我们实现了同城灾备。在同城灾备里面我们可以看到一个是主机房，另外一个是备用机房，当主机房出现任何问题的时候，通过dns来切割流量转移到备用机房，然后得以实现系统的高可用。但是...
上文《异地多活架构梳理演变（五）应用层的冗余》我们介绍了应用的冗余，可以看到在我们实现了两套部署，用冗余的方式来满足系统的高可用。但是对于企业来说，我们可能两套部署都是放在同一个机房的，并且有可能放在同一个机架上的。...
上文《异地多活架构梳理演变（四）主从副本的演进》我们解决了数据存储的高可用问题。但是对于我们的要求来说，既然是高可用，那么不仅仅是数据存储的高可用，还必须保证服务的高可用，对不对？所以我们在上文的基础上把单体系统架构...
上文《异地多活架构梳理演变（三）单体业务架构之手动备份》我们提到单体架构为了解决数据丢失的问题，我们采用定时备份的策略。但是又出现新的问题，就是中间一小部分的间隔数据也会存在丢失。所以整体的架构继续演进，逐渐演进到大...
上文《异地多活架构梳理演变（二）单体系统架构是什么样子的？》我们介绍了单体架构的致命缺点，就是当部署的服务器发生故障的时候，数据丢失了。所以随着业务的发展，为了解决这个问题，大家一般会采用的策略方案就是：定时备份数据...
上文《异地多活架构梳理演变（一）为什么要有异地多活架构》我们介绍了使用异地多活的架构主要是为了解决系统物理层面的高可用。从本文开始，我们逐渐的介绍下异地多活架构的具体演进。本文我们首先来介绍下单体架构，对于单体系统架...
异地多活架构梳理演变（一）为什么要有异地多活架构
在前些年，对于业界来说，发生过一些重大的事故，例如：1、2015 年 5 月 27 日，杭州市某地光纤被挖断，近 3 亿用户长达 5 小时无法访问支付宝 2、2021 年 7 月 13 日，B 站部分服务器机房发生故...
两个任务同时写paimon主键表报错：Trying to delete file data-xxxxxx.orc which is not previously added
请教下 ， 两个任务同时写paimon主键表，然后 java.lang.IllegalStateException: Trying to delete file data-xxxxxx.orc which is no...
使用prometheus+grafana+node-exporter监控springboot案例
在本站我们我们介绍过prometheus+grafana相关的教程。本文记录下使用docker-compose搭建prometheus+grafana+node-exporter系统，监控springboot项目的教...
热文数仓架构构建实战思路（二十一）数据质量监控
上文《数仓架构构建实战思路（二十）数据仓库运行过程中可能存在问题》我们提到了数据仓库运行的过程中会涉及到各种问题。但是里面比较隐含的问题主要是上游的数据发生了变更，如果我们没有及时发现的话，则会出现比较大的失误。因此...
数仓架构构建实战思路（二十）数据仓库运行过程中可能存在问题
数据仓库建设好了之后，在运行的过程中除了基础的技术部分，其实还是会存在很多的不可控因素，我们在问答社区里面进行了相关常见问题的整理，详情可参考：《数据仓库常见问题》。我们在《数据仓库常见问题》这里面会进行持续的更新，...
热文数仓架构构建实战思路（十九）挖掘数仓的价值很重要
前面我们已经可以完成正常的一个数仓的基本使用了。前面我们也提到，既然花了大成本建设数仓，那么我们肯定是不仅限于数仓对于业务的基本使用了，所以接下来需要筹划的就是尽可能的挖掘数仓的价值，增加公司的创收。对于数仓来说，目...
热文数仓架构构建实战思路（十八）数据治理很重要（数据血缘关系）
根据前面的数据仓库我们已经开始进入开发阶段，那么接下来的话，需要筹划的就是数据治理。也就是大家经常涉及到的数据血缘关系的建设。在整个数据仓库里面，我们会涉及到很多的存储组件，这些存储组件里面会涉及到成千上万个库，每一...
热文数仓架构构建实战思路（十七）数仓开发流程
上文《数仓架构构建实战思路（十六）表设计原则很重要》我们根据表设计思路，完成各个层，各个模块的表设计，接下来就是开发了。所以这里其实主要是相对团队来说布置任务。但是对于布置任务来说，我们还是来捋一捋整个数仓的开发流程...