配置canal把数据发送到kafka中提升并发量 在上一篇文章《CDC工具Canal的安装并且使用JAVA客户端读取数据变更》我们介绍了搭建canal服务端,然后使用java程序监听数据的变化。在使用java客户端监听的时候,在大数据了的场景下这个就不合适了,因为并... Rae数据仓库2022-10-21810 阅读0 评论
热文使用docker安装kafka 最近需要使用到kafka,一看测试环境竟然没有,那就只能搭建一个,一般我们生产上都是使用tar包进行安装,毕竟像这种搞io类型的应用我们需要是尽量发挥他的性能。但是测试环境就不一样了,没有太高的要求,因此测试环境就使... Rae消息中间件2022-10-211047 阅读0 评论
热文聊聊基于mysql的主从复制原理 在mysql中我们经常会听说到master-slave的结构。一个master带有很多slave,所有的slave都从master去同步数据。上一篇文章《CDC工具Canal的安装并且使用JAVA客户端读取数据变更》... Raemysql学习2022-10-211103 阅读0 评论
热文线上的堡垒机Telport老是莫名其妙的挂掉,编写一个脚本自动重启 最近我们使用Telport作为线上的堡垒机,但是可能由于堡垒机的服务器配置较低(主要是1H2G),所以tp_core程序老是挂掉,因此在这里编写一个脚本做自动重启。具体脚本代码如下:file_name="/root/... Rae服务器运维2022-10-211249 阅读0 评论
热文CDC工具Canal的安装并且使用JAVA客户端读取数据变更 现各公司都在建设数仓,尤其现在的实时数仓,所以对于CDC的需求是非常硬性的,CDC在我们之前也有使用,因此准备更新下CDC相关的文章,本篇我们介绍Canal的服务端安装并且使用JAVA客户端读取数据变更。一、首先说下... Rae数据仓库2022-10-211821 阅读0 评论
关于缓存穿透的一些看法 不管是在工作中还是在面试的时候,我们经常会涉及到缓存穿透的问题,那么什么是缓存穿透呢?缓存穿透顾名思义就是用户的一次请求,后端先检测缓存里是否存在,如果不存在,则去数据库里面取值,数据库也没有结果,则直接返回给客户端... Rae微服务2022-10-19686 阅读0 评论
热文java基于redis做接口幂等性处理的方案 这篇文章我们聊下如何做接口幂等性的处理。我们知道在高并发及高可用的场景里面,系统会涉及到很多的重试,那么一定会涉及到数据重复提交的问题,那么如果遇到数据重复提交的话,那我们肯定是需要做接口幂等性的操作。在之前的问答里... Rae微服务2022-10-191042 阅读0 评论
如何使用guava cache做本地缓存 目前各个IT系统几乎都会使用到缓存。然而在缓存里面redis和memcache的使用频率非常的高。但是我们在部分场景里面,有时候也需要实现本地缓存,这时候推荐给大家Guava Cache这个缓存框架,这个缓存目前的使... Rae开发语言2022-10-18905 阅读0 评论
elasticsearch-head插件安装 在前面我们介绍了elasticsearch即ELK平台的安装,但是真实环境里面,我们使用elasticsearch的head插件的情况还是比较多的,因此我们这篇文章介绍下elasticsearch-head插件的安装... Rae搜索引擎2022-10-17827 阅读0 评论
热文Spring Boot 如何使用注解实现各种参数校验 在java开发中,springboot几乎已经是开发web项目的脚手架了。在这些web接口里面,我们经常会涉及到接收json字样,那么整个json字段非常多,我们是否需要写很多if-else来挨个对参数进行判断呢? ... Rae开发语言2022-10-171063 阅读0 评论
热文搭建kibana可视化查询日志系统 在前面的文章,我们分别介绍了springboot日志的统一打印,logtash的日志收集、elasticsearch的安装。今天我们来介绍下kibana的搭建,目的是我们可以直接在kibana里面进行日志的可视化查询... Raejava2022-10-171038 阅读0 评论
热文职场经验 | 谈面试中各种各样的坑 面试大大小小应该面试过几百人次,对于面试这件事,也多多少少有了些自己的感悟。对面试官来说,面试不仅仅是在考察对方,也是在跟对方学习,更是一个自我反省的机会。面试能提升一个人的个人领导力。个人领导力的提升,并不需要你专... Rae问题解决2022-10-1610207 阅读58 评论
从零开始学习机器学习:使用TensorFlow训练你的第一个神经网络:基本分类 在安装了TensorFlow 2.0之后,我们通过训练一个用于基本分类的神经网络,来熟悉TensorFlow的使用流程。这个神经网络可以用来分类服装图片,比如区分鞋子和T恤。数据准备首先我们来看一下用于训练和测试模型... Rae人工智能2022-10-15789 阅读0 评论
从零开始学习机器学习:TensorFlow环境搭建 TensorFlow TensorFlow 是一个端到端开源机器学习平台。借助 TensorFlow,初学者和专家可以轻松地创建机器学习模型。TensorFlow 2.0 2018年11月,TensorFlow迎来了... Rae人工智能2022-10-15825 阅读0 评论
JAVA字符串类型概述 JAVA字符串类型概述JAVA中的字符串类型是非常常用的数据类型,它在日常编程中使用的频次之多,会使得很多人以为它是JAVA的一种基本数据类型(不是)。字符串相关的类型主要有三种:String,StringBuild... Rae开发语言2022-10-15783 阅读0 评论