当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

提问者:帅平 问题分类:面试刷题
当Spark涉及到数据库的操作时,如何减少Spark运行中的数据库连接数?

 您阅读本篇文章共花了: 

1 个回答
丢了爱情
丢了爱情
嗯,有点“调优”的味道,感觉真正的“风暴”即将到来,这道题还是很好回答的,我们只需要减少连接数据库的次数即可。
使用foreachPartition代替foreach,在foreachPartition内获取数据库的连接。
发布于:1年前 (2023-02-27) IP属地:四川省
我来回答