全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

执行spark-sql的时候报错了，提示：The specified datastore driver ("com.mysql.cj.jdbc.Driver") was not found

提问者：帅平问题分类：大数据

执行spark-sql的时候报错了，提示：

Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.cj.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
        at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
        at org.datanucleus.store.rdbms.connectionpool.HikariCPConnectionPoolFactory.createConnectionPool(HikariCPConnectionPoolFactory.java:66)
        at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:213)
        ... 100 more

我已经把mysql-mysql-connector-java.jar添加到spark的${spark_home}/jars目录下了，也重启了spark，还是报错。

Spark

发布于：2年前 (2023-09-06) IP属地：四川省

1 个回答

下个站口、等迩

可以在启动的时候添加--jars参数，例如：

./spark-sql --jars /home/pubserver/spark-3.4.0-bin-hadoop3/jars/mysql-connector-java-8.0.27

就可以了。
也可以在spark.default.conf里面配置下：

spark.executor.extraClassPath     /home/pubserver/spark-3.4.0-bin-hadoop3/thirdjars/mysql-connector-java-8.0.27.jar
spark.driver.extraClassPath       /home/pubserver/spark-3.4.0-bin-hadoop3/thirdjars/mysql-connector-java-8.0.27.jar

配置完毕之后重启spark集群，就不需要添加--jars了。建议使用第二种方式。

发布于：2年前 (2023-09-06) IP属地：四川省

久碍

这里如果spark是3.4的版本的话，需要mysql-connector是8.x的版本，不能用地域8.x的版本。

发布于：2年前 (2023-09-06) IP属地：四川省

我来回答