当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

提问者:帅平 问题分类:面试刷题

当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

1 个回答
丢了爱情
丢了爱情

嗯,有点“调优”的味道,感觉真正的“风暴”即将到来,这道题还是很好回答的,我们只需要减少连接数据库的次数即可。

使用foreachPartition代替foreach,在foreachPartition内获取数据库的连接。

发布于:3周前 (02-27)
我来回答