spark项目实战

在生活中我们经常会遇到比如在每隔5分钟，统计用户的下单次数，每隔1分钟，统计下股票的涨跌数据等等，这种就是时间窗口相关的应用场景，在实际的工作中我们遇到的比比皆是，因此这篇文章我们主要给大家演示下使用spark st...

这篇文章我们完整的演示一下，利用spark structured streaming编写spark的流处理，从kafka里面消费json，然后把json转换成对象，再利用spark sql进行查询或者join等，计算...

在使用spark的场景里面，二次排序是我们经常会使用到的应用场景，那么什么是二次排序呢？二次排序就是类似把key-value pair的rdd首先根据key进行排序，再根据value进行排序。这个案例我们介绍根据sp...

在spark的场景里面我们有时候会遇到很多场景，例如不同的客户端收集的日志都保存到对应client目录里面，此时如果我们分析的时候，日志文件都分布在不同的目录里面，而且可能由于写文件的规则产生很多个小文件，那有没有办...

这篇文章我们介绍一下spark的案例，也就是大家常见的TopN的问题，这个主要介绍案例，本案例的场景是一个班里有20个学生，统计下所有学生的前5名。[NeadPay]...