Spark的动态分区的实现原理是什么?

提问者:帅平 问题分类:面试刷题
Spark的动态分区的实现原理是什么?
1 个回答
养猪发家致富
养猪发家致富
动态分区的实现原理如下:
根据用户指定的分区字段,对数据进行分组。
遍历每个分组,统计出该分组对应的分区路径,并判断该分区是否已经存在于分区表中。
如果该分区不存在,则动态创建该分区。
将数据写入到相应的分区中。
发布于:11个月前 (03-27) IP属地:四川省
我来回答