Rae 第90页

在mapreduce的运行中，主要会涉及到3个阶段，分别是：1、map阶段 2、shuffle阶段 3、reduce阶段那么这三个阶段主要做了哪些操作呢？一、Map阶段map阶段主要分为2个步骤，分别是：1、设置 I...

Rae /hadoop系列 /2023-02-14 /0 评论 /517 阅读

上一篇文章《QLExpress规则演进（四）自定义功能》我们介绍了自定义功能，这篇文章我们再把项目演进一下，用宏来实现。宏是在生产环境中使用最多的，所有的功能模块都可以抽象为宏。说到宏，大家可能一脸懵，这个比较抽象，...

Rae /其他 /2023-02-14 /0 评论 /1001 阅读

上一篇文章《QLExpress规则演进（三）规则引擎的变量》我们介绍了变量，这里我们介绍下规则引擎的自定义功能，首先我们再来回忆下之前的演示规则：如果年龄大于等于 18 并且性别等于 "男" 那么 "用戶已成...

Rae /其他 /2023-02-13 /0 评论 /1505 阅读

上一篇文章《QLExpress规则演进（二）给规则添加别名》我们介绍了规则的别名，但是这里面还有一个很重要的东西就是变量。那么什么是变量呢？下面是我们上一篇文章的规则：如果 age 大于等于 18 并且 sex 等于...

Rae /其他 /2023-02-13 /0 评论 /1040 阅读

上一篇《QLExpress规则演进（一）编写一个简单的规则》我们编写了一个简单的规则，当时的规则是直接把业务思维物化成了编程语言的代码，如下：if age >=18 && sex == "男" then "用戶已成年...

Rae /其他 /2023-02-13 /0 评论 /1144 阅读

QLExpress规则演进（一）编写一个简单的规则

在之前的文章我们介绍过QLExpress相关的案例，对于没有接触过规则引擎的人来说，掌握规则引擎是一个非常令人摸不着头脑的事情，所以这里出几篇文章，作为一个实战的演示，让大家慢慢的熟悉下规则引擎，并且把这个引入到项目...

Rae /其他 /2023-02-13 /0 评论 /762 阅读

上一篇《Hadoop系列（二十二）简单实现一个统计单词个数的Mapreduce任务》我们简单的实现了一个mapreduce的任务，这篇文章我们介绍下mapreduce运行时的框架结构。在mapreduce提交到had...

Rae /hadoop系列 /2023-02-13 /0 评论 /536 阅读

在前面我们介绍了mapreduce是一个分而治之的分布式计算框架，那么我们再编写程序的时候就会涉及到两部分，一部分是map，一部分是Reduce。下面我们简单的写一个用于单词个数统计的map job和 reduce ...

Rae /hadoop系列 /2023-02-13 /0 评论 /668 阅读

在hadoop中除了hdfs之外，还有另外一个非常重要的组件就是Mapreduce。这是一个分而治之的分布式计算框架。在hadoop进程中，主要与ResourceManager和NodeManager进程相关。备注：...

Rae /hadoop系列 /2023-02-13 /0 评论 /486 阅读

在hdfs上我们会涉及到删除文件的操作，索然有副本，但是删除文件的操作也会导致副本被删除，因此hdfs提供有回收站的功能，这样被删除的文件都会自动存储到回收站里面，后期想要恢复的话，可以直接从回收站里面进行恢复即可。...

Rae /hadoop系列 /2023-02-10 /0 评论 /714 阅读

在hdfs上，所有的数据文件都会有备份的操作，主要是避免文件被删除。但是万一出现下面的情况怎么办呢？原本规划的/home/user/school/这个目录下是专门用来收集学校相关的数据，此时业务中有人误操作了，把交通...

Rae /hadoop系列 /2023-02-10 /0 评论 /1022 阅读

我们从前面的文章可以了解到DataNode主要是做数据存储的，这篇文章我们介绍下DataNode节点的工作机制。流程如下：1. ⼀个数据块在datanode上以⽂件形式存储在磁盘上，包括两个⽂件，⼀个是数据本身，⼀ ...

Rae /hadoop系列 /2023-02-10 /0 评论 /546 阅读