如何落地一个中型项目(上篇)
前言7月份的文章还没有发,思来想去准备写之前在《聊聊数据中台》中有提到过的数据建模,但由于它的专业性较强,不够接地气,决定还是写一篇自己是如何做一个中型的项目。招聘系统的内部推荐模块是我去年做的一个真实项目,所以很细...
前言7月份的文章还没有发,思来想去准备写之前在《聊聊数据中台》中有提到过的数据建模,但由于它的专业性较强,不够接地气,决定还是写一篇自己是如何做一个中型的项目。招聘系统的内部推荐模块是我去年做的一个真实项目,所以很细...
上一篇文章《Dinky 实时计算平台系列(十九)FlinkSql作业开发之FlinkSql-Kafka》我们介绍了flinksql中kafka的connector,在实际的业务中我们还会涉及到的有mysql的cdc,...
本站在之前写过一些使用docker的方式部署kafka的文章,例如:《使用docker安装kafka》和《使用docker快速在服务器上搭建一套kafka环境》。我知道安装kafka的话,需要部署zookeeper,...
上一篇文章《Dinky 实时计算平台系列(十八)FlinkSql作业开发之快速演示》我们在dinky中进行了一个简单的演示开发,从现在开始,我们切合实际情况,做一些flink多数据源的connector方面的开发,本...
本文的话,我们使用官网的案例来演示下在Dinky平台上开发一个flinksql的作业。下面直接开始.1)首先创建一个作业这里我们创建一个名为test2的作业,此时就会在右侧打开一个新的黑框。如下图:2)在黑框里面编写...
很久没写代码了,最近写项目的时候,数据库有一些decimal相关的金额字段,此时是两位小数的,但是通过springboot使用mybatis查询之后,返回给前端的时候就会自动被去掉小数点后的0,例如数据库查询出来的金...
在实际业务中,我们如果项目比较小的话,一般都是使用springboot框架做一个单机版本的web项目。此时项目里面会涉及到用户的鉴权,流程图如下:如上图整个流程如下:1、客户端传递用户名和密码给服务器端 2、服务器端...
在实际工作中,我们会涉及到对请求的request和response内容进行打印的需求,这样子方便排查问题,所以本文给一个springboot web项目相关的日志打印示例,具体代码如下:package org.web...
在dinky的flinksql数据开发编辑器的右侧,还有一个比较重要的功能就是保存点,如下图:这个保存点不是用来配置的,它是一系列的记录。当我们在调试这个作业的时候,我们通过该cancel命令停止作业的时候,会自动生...
在flinksql的作业编辑器右侧除了作业配置之外,还有执行配置,如下图:这个执行配置里面只有4个选项吻别是预览结果,打印流,最大行数,自动停止。这个执行配置在我们调试作业的阶段,建议所有的选项都打开,方便查看调试的...
上一篇文章《Dinky 实时计算平台系列(十四)Dinky数据开发之FlinkSql作业执行模式》我们介绍了flinksql相关的作业模式。我们还是再来看下这个编辑器界面,如下图:在上图右侧的部分,我们圈起来的部分这...
在前面的文章我们介绍了dinky中的作业。也介绍了这里的黑框是用来编写实际代码的,编写完成之后,我们需要调试,需要验证,那么就需要对应的执行环境,不同的执行环境就对应不同的执行模式。本文的话,我们介绍下dinky中F...
上一篇文章《Dinky 实时计算平台系列(十二)Dinky数据开发之作业概述》我们介绍了dinky作业的相关概念,在最后我们看到有一个编辑器区域,如下图:这个区域里面就是专门用来编写代码的,这里编写代码其实和我们日常...
在Flink中,有一个很重要的功能就是直接在页面上做数据开发,本文介绍下Dinky数据开发之作业概述。这里的作业指的是什么呢?在使用java进行flink编程的时候,我们经常会把一套相同业务的逻辑放到一个job里面进...
上一篇文章《Dinky 实时计算平台系列(十)Dinky使用指南之注册中心-Flink实例管理》我们介绍了Dinky添加单独的Flink集群,但是在实际工作中,很多公司会把flink的任务运行在Flink on ya...