Spark案例介绍（二）合并小文件

在spark的场景里面我们有时候会遇到很多场景，例如不同的客户端收集的日志都保存到对应client目录里面，此时如果我们分析的时候，日志文件都分布在不同的目录里面，而且可能由于写文件的规则产生很多个小文件，那有没有办法把这些文件合并成一个文件呢，这样方便直观的查看和分析、存储和使用。这里我们就介绍下使用spark来很方便的把小文件进行合并。